Saya yakin untuk mencobanya secepatnya, kita semua harus mencoba fp16, lihat plot man ini. FP16 seperti sempurna dalam pengurangan kesalahan. "Inilah sebabnya mengapa beralih ke FP16 memberikan solusi mendasar. Dengan 10 bit mantissa-nya, FP16 menawarkan presisi 8 kali lebih tinggi (nilai 2^10 vs. nilai 2^7) daripada BF16. Kesetiaan yang lebih tinggi ini berarti bahwa output dari mesin pelatihan dan inferensi jauh lebih mungkin identik secara numerik. Peningkatan presisi menciptakan buffer yang menyerap perbedaan implementasi kecil antara kedua mesin, mencegah kesalahan pembulatan menumpuk dan menyebabkan divergensi kebijakan. Untuk penyetelan RL, rentang dinamis bobot dan aktivasi model telah ditetapkan selama pra-pelatihan. Oleh karena itu, jangkauan ekstrim BF16 kurang kritis, sedangkan presisi yang dikorbankannya menjadi kelemahan yang dominan. Dengan kembali ke FP16, kami menukar rentang BF16 yang tidak perlu dengan presisi kritis, secara efektif menutup kesenjangan antara pelatihan dan inferensi tanpa solusi algoritmik atau teknik yang rumit."

Kata kunci "coba", banyak hal yang bisa menghalangi penskalaan ini, tetapi terkadang semuanya bekerja seperti ini. Tidak ada obat mujarab, tetapi terkadang kemenangan mudah.

Saya yakin itu sangat bervariasi menurut model dan detail impl lainnya

menjadi kurang yakin seiring waktu, ikuti saja @finbarrtimbers