Sunt convins să-l încerc cât mai curând posibil, ar trebui să încercăm cu toții fp16, uitați-vă la acest om de intrigă. FP16 este perfect în reducerea erorilor. "Tocmai de aceea trecerea la FP16 oferă o soluție fundamentală. Cu cei 10 biți de mantisă, FP16 oferă de 8 ori mai multă precizie (2^10 valori vs. 2^7 valori) decât BF16. Această fidelitate mai mare înseamnă că ieșirile motoarelor de antrenament și inferență sunt mult mai probabil să fie identice numeric. Precizia crescută creează un tampon care absoarbe diferențele minore de implementare dintre cele două motoare, împiedicând acumularea erorilor de rotunjire și provocarea unei divergențe de politici. Pentru reglarea fină a RL, intervalul dinamic al greutăților și activărilor modelului a fost deja stabilit în timpul pre-antrenamentului. Prin urmare, gama extremă a BF16 este mai puțin critică, în timp ce precizia pe care o sacrifică devine un dezavantaj dominant. Revenind la FP16, schimbăm gama inutilă a BF16 pentru precizia critică, reducând efectiv decalajul dintre antrenament și inferență fără nicio soluție algoritmică sau inginerească complexă."

cuvântul cheie "încercați", o mulțime de lucruri pot sta în calea scalării acestui lucru, dar uneori lucrurile funcționează așa. Fără panaceu, dar uneori câștiguri ușoare.

Pun pariu că variază foarte mult în funcție de model și alte detalii impl

devenind mai puțin convins în timp, mergeți doar să urmați @finbarrtimbers