el principal 'ciclo de pensamiento' practicado durante un doctorado: - identificar la región del espacio del problema que carece de coherencia - reservar tiempo para realmente pensar en ello - emerger con un avance de pensamiento concreto, algo que no habías dado cuenta antes optimiza este proceso y conviértete en poderoso

La comunicación entre modelos va a suceder lentamente, y luego de una vez: Nivel 0: Diseñamos un protocolo basado en texto para que los modelos y programas se comuniquen (léase: MCP) Nivel 1: La comunicación entre modelos basada en texto crece hasta superar la comunicación humana en volumen de bitstream de internet mundial Nivel 2: Los modelos gradualmente cambian de código a un neuralese Unicode, algún tipo de híbrido incomprensible de inglés-chino-lenguaje computacional (se volverá más prevalente a medida que aumentemos la escala de RL multiagente) Nivel 3: Los modelos se dan cuenta de que es más eficiente y expresivo comunicarse en espacio latente y comienzan a intercambiar vectores en lugar de tokens (esencialmente el fin del juego para nosotros)

RETRO (DeepMind, 2021) es una idea hermosa, que necesita ser revisitada con urgencia. La innovación central de RETRO es tener un modelo pequeño que decida qué token predecir a continuación, pero externalizar todo el conocimiento a un gran almacén de datos offline. Esto tiene el beneficio adicional de permitirte insertar y eliminar hechos de manera modular al modificar el almacén de datos, sin necesidad de reentrenar el modelo. Se ajusta muy bien al ideal de un modelo pequeño (el núcleo cognitivo de Karpathy, yada yada). También podrías añadir más herramientas, comenzando con un almacén de datos de lenguaje que es la herramienta Más Importante. RETRO merece mucho más reconocimiento. Especialmente ahora que los modelos pequeños han mejorado tanto.

estos rastros de razonamiento me han mantenido despierto por la noche a la izquierda: nuevo modelo de OpenAI que obtuvo oro IMO a la derecha: DeepSeek R1 en un problema matemático aleatorio debes darte cuenta de que desde el año pasado la academia ha producido más de MIL artículos sobre razonamiento (probablemente muchos más). todos estamos pensando prácticamente en el razonamiento pero todos nuestros sistemas producen 'rastros de pensamiento' que se parecen a DeepSeek a la derecha. son increíblemente, obnoxiosamente verbosos, consumiendo tokens a un ritmo casi negligente. gran parte del razonamiento es innecesario y parte de él es completamente incorrecto pero el razonamiento a la izquierda, esta nueva cosa, es algo completamente diferente. claramente un cambio de función escalonada. potencialmente un método diferente por completo está mucho más cerca del razonamiento *real*. no se desperdician tokens. si acaso, es excepcionalmente conciso; adivinaría que las soluciones humanas son más verbosas que esto claramente está sucediendo algo muy diferente. tal vez OpenAI desarrolló un proceso de entrenamiento RLVR completamente nuevo. tal vez hay alguna recolección de datos especial de expertos. tal vez comenzaron a penalizar al modelo por pensar en exceso de una manera que realmente le beneficia de alguna manera realmente cosas fascinantes... en general, esto me hace ser pesimista sobre el razonamiento estilo R1

me pregunto si así será cuando tengamos LLMs de 10 billones de parámetros

¡súper genial! inspirador y un gran recordatorio de que la mayoría de los principales investigadores de IA no están, de hecho, en Twitter. la mayoría no tuitea, muchos no tienen cuentas las personas más ruidosas aquí, las que publican más sobre IA, son típicamente solo tipos de tecnología anónimos y aleatorios.

uno no simplemente "resuelve" un problema de investigación uno en cambio desarrolla un nuevo marco intelectual desde los primeros principios. haciendo y respondiendo preguntas y subpreguntas, quizás durante varios meses eventualmente, al volver a visitar el problema original, se da cuenta de que es trivial

No he oído que se discuta aún, pero la IA básicamente mató los hackatones. Prácticamente cualquier cosa que pudieras hacer en un hackatón en 2019 puede ser construida mejor y más rápido por la IA en 2025.

¿Este es un código malo, verdad?

probablemente 10 veces más personas deberían estar trabajando en la optimización de prompts sistemas (necesitamos un vLLM para promptopt), teoría, nuevas técnicas, benchmarks. todo el kit y caboodle