Сьогоднішній день знаменує собою дійсно велике досягнення для Nous, а також, можливо, для AI Landscape. Ми розпочали децентралізований запуск попереднього навчання того, що в основному є щільним Deepseek - 40B параметрами, понад 20T токенів, з MLA для ефективності тривалого контексту. Усі контрольні точки, невідпалені, відпалені, набір даних, все буде відкрито в прямому ефірі, оскільки навчання триватиме. Перегляньте блог, який команда Psyche очолює @DillonRolnick, @theemozilla та Арі написали у твіті-цитаті, щоб дізнатися *багато* більше про інфраструктуру.
Nous Research
Nous Research15 трав. 2025 р.
Анонс запуску Psyche Nous Research демократизує розвиток штучного інтелекту. Сьогодні ми докладаємо найбільших зусиль на сьогоднішній день, щоб втілити цю місію в реальність: The Psyche Network Psyche — це децентралізована навчальна мережа, яка дає змогу об'єднати світові обчислення для навчання потужного штучного інтелекту, надаючи окремим особам і невеликим спільнотам доступ до ресурсів, необхідних для створення нових, цікавих та унікальних великомасштабних моделей. Сьогодні ми запускаємо нашу тестову мережу з попереднім навчанням LLM з параметром 40B, моделі, достатньо потужної, щоб служити основою для майбутніх досліджень у відкритій науці. Цей забіг є найбільшим передтренувальним забігом, проведеним в Інтернеті на сьогоднішній день, перевершуючи попередні ітерації, які тренували менші моделі на набагато меншій кількості токенів даних.
63,35K