Ik ben ervan overtuigd het zo snel mogelijk te proberen, we zouden allemaal FP16 moeten proberen, kijk naar deze grafiek man. FP16 is perfect in foutreductie. "Dit is precies waarom overstappen naar FP16 een fundamentele oplossing biedt. Met zijn 10 mantissa-bits biedt FP16 8 keer meer precisie (2^10 waarden vs. 2^7 waarden) dan BF16. Deze hogere nauwkeurigheid betekent dat de outputs van de trainings- en inferentie-engines veel waarschijnlijker numeriek identiek zijn. De verhoogde precisie creëert een buffer die de kleine implementatieverschillen tussen de twee engines absorbeert, waardoor afrondingsfouten worden voorkomen die zich ophopen en een beleidsafwijking veroorzaken. Voor RL-fijnafstemming is het dynamische bereik van de gewichten en activaties van het model al vastgesteld tijdens de voortraining. Daarom is het extreme bereik van BF16 minder kritisch, terwijl de precisie die het opgeeft een dominante tekortkoming wordt. Door terug te keren naar FP16, ruilen we het onnodige bereik van BF16 in voor de kritische precisie, waardoor we effectief de kloof tussen training en inferentie dichten zonder enige complexe algoritmische of technische omweg."

sleutelwoord "probeer" het, er kunnen veel dingen in de weg staan bij het schalen hiervan, maar soms werkt het zo. Geen wondermiddelen, maar soms zijn er gemakkelijke overwinningen.

ik wed dat het sterk varieert per model en andere implementatiedetails

minder overtuigd raken in de loop van de tijd, volg gewoon @finbarrtimbers