Cazzo santo... NVIDIA ha appena fatto l'impossibile 🤯 Hanno addestrato un LLM da 12 miliardi di parametri su 10 TRILIONI di token utilizzando solo una precisione a 4 bit. Si chiama NVFP4, e raggiunge la stessa accuratezza di FP8 riducendo i costi di calcolo e memoria della METÀ. Non si tratta di un miglioramento incrementale. Questo è un cambiamento di paradigma completo. Ecco come ci sono riusciti: → Trasformazioni di Hadamard casuali per eliminare i valori anomali → Scalatura 2D che preserva il flusso del gradiente → Arrotondamento stocastico per aggiornamenti imparziali → Strati ad alta precisione selettivi dove è importante I risultati sono assurdi: Stessa accuratezza di FP8. La metà delle risorse. Efficienza da record. Mentre tutti stavano correndo per scalare, NVIDIA ha appena dimostrato che puoi scalare VERSO IL BASSO e vincere comunque. Questo potrebbe ridefinire il modo in cui ogni modello di frontiera viene addestrato. L'era a 4 bit è appena iniziata.