今日は、Nousにとって非常に大きな成果ですが、AIランドスケープの可能性も示しています。 私たちは、基本的に密集したDeepseekであるものの分散型事前トレーニング実行を開始しました-40Bパラメーター、20Tトークン以上、MLAを使用して、長いコンテキスト効率を実現します。 すべてのチェックポイント、アニーリングされていないもの、アニーリングされたもの、データセット、トレーニングが進むにつれて、すべてがライブでオープンソース化されます。 Psycheチームがリードする@DillonRolnick、@theemozilla、Ariが引用ツイートに書いたブログをチェックして、インフラストラクチャについて*多く*学びましょう。
Nous Research
Nous Research2025年5月15日
Psycheのローンチを発表 Nous Researchは、人工知能の開発を民主化しています。今日、私たちはそのミッションを実現するために、これまでで最大の努力、つまり「プシュケ・ネットワーク」に着手します Psycheは、世界中のコンピューティングをまとめて強力なAIをトレーニングすることを可能にする分散型トレーニングネットワークであり、個人や小さなコミュニティが新しく、興味深く、ユニークな大規模モデルを作成するために必要なリソースにアクセスできるようにします。 私たちは本日、オープンサイエンスの将来の追求の基盤として機能するのに十分な強力なモデルである40BパラメータLLMの事前トレーニングを使用してテストネットを立ち上げます。この実行は、これまでインターネット上で行われた最大の事前トレーニング実行であり、はるかに少ないデータ トークンで小規模なモデルをトレーニングした以前のイテレーションを上回っています。
63.34K