Hoje marca uma grande conquista para Nous, mas também potencialmente para o cenário de IA. Começamos uma execução de pré-treinamento descentralizada do que é basicamente um Deepseek denso - parâmetros 40B, mais de 20T tokens, com MLA para eficiência de contexto longo. Todos os checkpoints, não annealed, annealed, o conjunto de dados, tudo será opensource ao vivo à medida que o treinamento continua. Confira o blog que a equipe Psyche lidera @DillonRolnick, @theemozilla e Ari escreveram no tweet de citação para aprender *muito* mais sobre a infraestrutura.
Nous Research
Nous Research15/05/2025
Anunciando o lançamento de Psyche A Nous Research está democratizando o desenvolvimento da Inteligência Artificial. Hoje, estamos embarcando em nosso maior esforço até agora para tornar essa missão uma realidade: The Psyche Network Psyche é uma rede de treinamento descentralizada que torna possível reunir a computação do mundo para treinar IA poderosa, dando a indivíduos e pequenas comunidades acesso aos recursos necessários para criar modelos novos, interessantes e únicos em grande escala. Estamos lançando nosso testnet hoje com o pré-treinamento de um LLM de parâmetro 40B, um modelo poderoso o suficiente para servir como base para futuras atividades em ciência aberta. Esta execução representa a maior execução de pré-treinamento realizada pela internet até o momento, superando iterações anteriores que treinavam modelos menores em muito menos tokens de dados.
63,33K