Mierda... NVIDIA acaba de hacer lo imposible 🤯 Entrenaron un LLM de 12B parámetros en tokens de 10 billones usando solo una precisión de 4 bits. Se llama NVFP4 y coincide con la precisión de FP8 al tiempo que reduce los costos de computación y memoria a la MITAD. Esto no es una mejora incremental. Este es un cambio de paradigma completo. Así es como lo descifraron: → Hadamard aleatorio se transforma para eliminar valores atípicos → Escalado 2D que conserva el flujo de gradiente → Redondeo estocástico para actualizaciones imparciales → Capas selectivas de alta precisión donde importa Los resultados son absurdos: La misma precisión que FP8. La mitad de los recursos. Eficiencia récord. Si bien todos han estado compitiendo para escalar, NVIDIA acaba de demostrar que puede reducir la escala y aún así ganar. Esto podría redefinir cómo se entrena cada modelo de frontera. La era de los 4 bits acaba de comenzar.