Dzisiejszy dzień to naprawdę duże osiągnięcie dla Nous, ale także potencjalnie dla krajobrazu AI. Rozpoczęliśmy zdecentralizowany bieg wstępnego trenowania tego, co jest w zasadzie gęstym Deepseek - 40B parametrów, ponad 20T tokenów, z MLA dla długotrwałej wydajności kontekstowej. Wszystkie punkty kontrolne, niewyżarzone, wyżarzane, zestaw danych, wszystko będzie udostępniane na żywo na licencji open-source w miarę trwania szkolenia. Zajrzyj na bloga, który prowadzi zespół Psyche, @DillonRolnick @theemozilla i Ari napisali w tweecie z cytatem, aby dowiedzieć się *dużo* więcej o infrastrukturze.
Nous Research
Nous Research15 maj 2025
Ogłoszenie o premierze gry Psyche Nous Research demokratyzuje rozwój sztucznej inteligencji. Dziś podejmujemy największy jak dotąd wysiłek, aby ta misja stała się rzeczywistością: The Psyche Network Psyche to zdecentralizowana sieć szkoleniowa, która umożliwia zebranie światowej mocy obliczeniowej w celu wytrenowania potężnej sztucznej inteligencji, dając jednostkom i małym społecznościom dostęp do zasobów wymaganych do tworzenia nowych, interesujących i unikalnych modeli na dużą skalę. Dzisiaj uruchamiamy naszą sieć testową ze wstępnym szkoleniem parametru 40B LLM, modelu wystarczająco potężnego, aby służyć jako podstawa do przyszłych poszukiwań w otwartej nauce. Ten przebieg reprezentuje największy do tej pory przebieg trenowania wstępnego przeprowadzony przez Internet, przewyższając poprzednie iteracje, które trenowały mniejsze modele na znacznie mniejszej liczbie tokenów danych.
63,35K