Es hora de nuevo de nuestra última celebración (ahora anual) del año. GPU MODE se reunirá IRL nuevamente en el centro de San Francisco el viernes 24 de octubre de 10 a.m. a 10 p.m. para hackear todo el día

Presentamos DeepConf: Deep Think with Confidence 🚀 ¡Primer método para lograr el 99,9% en AIME 2025 con modelos de código abierto! Usando GPT-OSS-120B incluso sin herramientas, alcanzamos esta precisión casi perfecta mientras ahorramos hasta un 85% de tokens generados. También ofrece muchas ventajas importantes para el pensamiento paralelo: 🔥 Aumento del rendimiento: ~10% de precisión en todos los modelos y conjuntos de datos ⚡ Ultraeficiente: hasta un 85% menos de tokens generados 🔧 Plug & play: Funciona con CUALQUIER modelo existente - no se necesita entrenamiento (¡no se necesita ajuste de hiperparámetros también!) ⭐ Fácil de implementar: solo ~ 50 líneas de código en vLLM (consulte PR a continuación) 📚 Papel: 🌐 Proyecto: Trabajo conjunto con: @FuYichao123 , xuewei_wang, @tydsh (ver detalles en los comentarios a continuación)

¿Podemos romper el muro de memoria para la inferencia de LLM a través de la rematerialización de la caché de KV? 🚨 ¡Presentamos XQuant, que aprovecha las unidades de cómputo infrautilizadas para eliminar el cuello de botella de memoria para la inferencia de LLM! • Ahorro de memoria de 10 a 12,5 veces en comparación con FP16 • Pérdida de precisión casi nula • Supera la cuantización🔥 de KV de última generación Ideas clave: 1. Caché de KV = cuello de botella → crece linealmente con la longitud del contexto + el tamaño del lote. 2. Las GPU de → de memoria >> de cómputo ofrecen FLOP órdenes de magnitud más rápidos que el ancho de banda de la memoria. 3. Idea clave → no almacene KV, simplemente vuelva a calcularlo. 🧠 Dado que la inferencia de LLM suele estar vinculada al ancho de banda de la memoria, las unidades informáticas suelen estar inactivas y subutilizadas. Por lo tanto, ¡podemos poner en uso este cómputo disponible sin ninguna sobrecarga! Las tendencias de hardware de GPU muestran que las capacidades informáticas se escalan mucho más rápido que el ancho de banda de la memoria. Por lo tanto, reducir las operaciones de memoria a cambio de más computación puede ayudar a acelerar la inferencia de LLM. La caché de KV crece linealmente con la longitud de la secuencia y el tamaño del lote, incurriendo en la mayoría de las operaciones de memoria durante la inferencia de LLM. Si podemos intercambiar cálculos adicionales para eludir la carga y el almacenamiento de la caché de KV, ¡podemos acelerar la inferencia! XQuant explota esta tendencia de hardware: 🧵 [1/7] Papel: Trabajo conjunto con: @coleman_hooper1 @mjlee_official de @FuriosaAI @HaochengXiUCB @rish2k1 Wonjun Kang de @FuriosaAI @lucamanolache0 Michael Mahoney @KurtKeutzer @amir__gholami

En mi opinión, SWE-bench y T-bench son los pocos puntos de referencia que tienen una buena señal en términos de cuánto progreso hacemos con los modelos. Este modelo funciona tan bien como Qwen3 Coder y es solo un 10% peor que GPT-5, además de ser un LLM de propósito general en lugar de un código especializado.

Parece que el panorama de código cerrado frente a pesos abiertos se ha nivelado. GPT-5 es solo un 10% mejor en codificación que un modelo de peso abierto que puede ejecutar en una computadora de escritorio de consumo y pronto en una computadora portátil. Si Anthropic no puede encontrar un buen modelo, probablemente no veremos AGI por un tiempo.

Lluvia de pensamientos: En lugar de mantener tu pago de Twitter/𝕏, dirígelo hacia un "Desafío de Pagos" de tu elección - ¡cualquier cosa de la que quieras más en el mundo! Aquí está el mío para esta ronda, combinando mis últimos 3 pagos de $5478.51: Es imperativo que la humanidad no caiga mientras la IA asciende. La humanidad tiene que seguir elevándose, volverse mejor junto a ella. Crea algo que esté diseñado específicamente para elevar al equipo humano. La definición se deja intencionadamente un poco vaga para mantener cierta entropía en la interpretación de las personas, pero en mi opinión, los ejemplos incluyen: - Cualquier pieza de software que ayude a la explicación, visualización, memorización, inspiración, comprensión, coordinación, etc... - No tiene que ser demasiado elevado, por ejemplo, puede ser un artículo/video educativo específico que explique algo de lo que otras personas podrían beneficiarse o que tú tengas un conocimiento único. - Prompts/agentes para la explicación, e.g. en la línea del modo de estudio de ChatGPT recientemente lanzado. - Obras de arte relacionadas Este desafío durará 2 semanas hasta el 17 de agosto a fin del día PST. Envía tu contribución como respuesta. Tiene que ser algo que fue creado exclusivamente para este desafío y que no existiría de otra manera. Los criterios incluyen ejecución, aprovechamiento, novedad, inspiración, estética, diversión. Las personas pueden votar las contribuciones dando 'me gusta', esta "elección del pueblo" también será un factor. Decidiré al ganador el 17 de agosto y enviaré $5478.51 :)

Algunas actualizaciones 🚨 ¡Terminé mi doctorado en @uwcse en junio de 2025! Después de un año en AI2 como científico investigador, me uniré a CMU @LTIatCMU & @mldcmu (cortesía) como profesor asistente en otoño de 2026. El viaje, los reconocimientos y el reclutamiento en 🧵

¡Anunciamos nuestro trabajo inicial sobre la inferencia FP4 para LLM! - QuTLASS: soporte de kernel de baja precisión para GPU Blackwell - FP-Quant: un arnés de cuantificación flexible para Llama/Qwen Alcanzamos una aceleración de 4x vs BF16, con buena precisión a través del microescalado MXFP4 + rotaciones de Hadamard fusionadas.

La tokenización es solo un caso especial de "fragmentación", la construcción de datos de bajo nivel en abstracciones de alto nivel, que a su vez es fundamental para la inteligencia. Nuestra nueva arquitectura, que permite la *fragmentación dinámica* jerárquica, no solo está libre de tokenizadores, sino que simplemente escala mejor.

¿El mayor conjunto de datos de código de GPU escrito por humanos, todo de código abierto? 👀 ¡Sí, por favor! En @GPU_MODE hemos lanzado alrededor de 40 mil 🚀 muestras de código escrito por humanos que abarcan Triton, Hip y PyTorch y todo está abierto en el @huggingface Hub. Entrena al nuevo GPT para que los haga más rápidos ⚡️ Enlace a continuación ⬇️