今天对Nous来说是一个非常大的成就,同时也可能是AI领域的一个重要时刻。 我们已经开始了一个去中心化的预训练运行,基本上是一个密集的Deepseek - 40B参数,超过20T的tokens,使用MLA来提高长上下文的效率。 所有的检查点、未退火的、退火的、数据集,所有内容都会在训练过程中实时开源。 查看Psyche团队领导@DillonRolnick、@theemozilla和Ari在引用推文中撰写的博客,了解更多关于基础设施的信息。
Nous Research
Nous Research2025年5月15日
宣布Psyche的启动 Nous Research正在民主化人工智能的开发。今天,我们正在进行迄今为止最大的努力,以实现这一使命:Psyche网络 Psyche是一个去中心化的训练网络,使得全球计算资源能够汇聚在一起训练强大的AI,让个人和小型社区能够获得创建新的、有趣的、独特的大规模模型所需的资源。 我们今天启动了我们的测试网,进行一个40B参数LLM的预训练,这个模型足够强大,可以作为未来开放科学追求的基础。这次运行代表了迄今为止通过互联网进行的最大规模预训练,超过了之前在更少数据令牌上训练较小模型的迭代。
63.35K