Я переконаний, що спробуємо це якнайшвидше, ми всі повинні спробувати fp16, подивіться на цього сюжетного чоловіка. FP16 схожий на ідеальний у зменшенні помилок. «Саме тому перехід на FP16 є фундаментальним рішенням. Завдяки 10 бітам мантісси FP16 забезпечує у 8 разів більшу точність (2^10 значень проти 2^7 значень), ніж BF16. Ця вища точність означає, що виходи механізмів навчання та виведення набагато частіше будуть чисельно ідентичними. Підвищена точність створює буфер, який поглинає незначні відмінності в реалізації між двома двигунами, запобігаючи накопиченню помилок округлення та викликаючи розбіжності в політиках. Для тонкої настройки RL динамічний діапазон ваг і активацій моделі вже встановлений під час передтренувальної підготовки. Тому екстремальна дальність BF16 менш критична, тоді як точність, якою вона жертвує, стає домінуючим недоліком. Повертаючись до FP16, ми обмінюємо непотрібний діапазон BF16 на критичну точність, ефективно скорочуючи розрив між навчанням і висновками без будь-якого складного алгоритмічного або інженерного обхідного шляху».

Ключове слово "спробуйте" це, багато речей можуть стати на заваді масштабуванню цього, але іноді все працює так. Немає панацей, але іноді легко перемагають.

Б'юся об заклад, що це сильно варіюється в залежності від моделі та інших деталей Impl

З часом стаючи менш впевненими, просто йдіть за @finbarrtimbers