Dada la enorme - y creciente - importancia del cálculo en el momento de la prueba y del RL post-entrenamiento demostrado por la absoluta dominancia de Grok-4, ser el productor de tokens de bajo costo es más importante que nunca. Como un apunte, esta es la primera vez en mi carrera como inversor tecnológico que ser el productor de bajo costo de algo ha importado. Hoy en día, los productores de tokens de menor costo son Google (TPUs) y xAI (el mayor clúster coherente, el menor capex $ por GPU desplegada, casi con certeza el mayor MFU y han tomado algunas decisiones arquitectónicas realmente inteligentes). Obviamente, estoy sesgado cuando se trata de xAI. Desde una perspectiva puramente técnica, tener la mejor red de escalado y el más eficiente desalojo de caché KV son lo más importante tanto para el costo como para la latencia de los modelos y ventanas de contexto cada vez más grandes. Estos son los ejes de competencia más importantes en la infraestructura de IA hoy en día - no el cálculo. Cabe señalar que el ancho de banda de memoria en paquete es más importante cuando puedes ajustar el modelo en un solo chip (@cerebras), pero para cualquier modelo realmente grande que requiera múltiples paquetes, el escalado y el desalojo de caché KV son lo más importante. Como todos los que trabajan en ASICs están comenzando a entender lentamente. Por eso, Dynamo y la apertura de NVLink fueron ambos importantes e inteligentes. Este último podría llevar cada vez más a que la participación de ASIC se desplace hacia los socios de NVLink. Sin mencionar los beneficios naturales de negociación de tener un segundo proveedor. Es probable que veamos más de estos, en mi humilde opinión: