Сегодня знаменует собой действительно большое достижение для Nous, а также потенциально для ландшафта ИИ. Мы начали децентрализованный запуск предварительного обучения, который по сути является плотным Deepseek - 40 миллиардов параметров, более 20 триллионов токенов, с MLA для эффективности в длинном контексте. Все контрольные точки, неаннелированные, аннелированные, набор данных, все будет открыто в реальном времени по мере продолжения обучения. Посмотрите блог, который написали лидеры команды Psyche @DillonRolnick, @theemozilla и Ари в цитируемом твите, чтобы узнать *много* больше об инфраструктуре.
Nous Research
Nous Research15 мая 2025 г.
Объявляем запуск Psyche Nous Research демократизирует разработку искусственного интеллекта. Сегодня мы начинаем наше самое масштабное усилие на данный момент, чтобы сделать эту миссию реальностью: сеть Psyche. Psyche — это децентрализованная обучающая сеть, которая позволяет объединить вычислительные ресурсы всего мира для обучения мощного ИИ, предоставляя отдельным лицам и небольшим сообществам доступ к ресурсам, необходимым для создания новых, интересных и уникальных моделей крупного масштаба. Сегодня мы запускаем наш тестнет с предварительным обучением LLM модели на 40 миллиардов параметров, достаточно мощной, чтобы стать основой для будущих исследований в области открытой науки. Этот запуск представляет собой крупнейшее предварительное обучение, проведенное через интернет на сегодняшний день, превосходя предыдущие итерации, которые обучали меньшие модели на гораздо меньшем количестве токенов данных.
63,34K