Fue un placer participar en el programa de Dwarkesh la semana pasada, pensé que las preguntas y la conversación fueron realmente buenas. También volví a ver el podcast justo ahora. Primero que nada, sí, lo sé, y lamento hablar tan rápido :). Es en mi detrimento porque a veces mi hilo de conversación supera a mi hilo de pensamiento, así que creo que estropeé algunas explicaciones por eso, y a veces también estaba nervioso de que me estaba yendo demasiado por las ramas o profundizando demasiado en algo relativamente espurio. De todos modos, algunas notas/puntos: Líneas de tiempo de AGI. Mis comentarios sobre las líneas de tiempo de AGI parecen ser la parte más comentada de la respuesta inicial. Esta es la "década de los agentes", que es una referencia a este tweet anterior. Básicamente, mis líneas de tiempo de IA son aproximadamente 5-10 veces más pesimistas en comparación con lo que encontrarás en tu fiesta de AI en San Francisco o en tu línea de tiempo de Twitter, pero aún así son bastante optimistas en relación con una marea creciente de negadores y escépticos de la IA. El aparente conflicto no es: en mi opinión, simultáneamente 1) vimos una gran cantidad de progreso en los últimos años con los LLMs mientras que 2) todavía queda mucho trabajo por hacer (trabajo arduo, trabajo de integración, sensores y actuadores para el mundo físico, trabajo social, trabajo de seguridad y protección (jailbreaks, envenenamiento, etc.)) y también investigación por hacer antes de que tengamos una entidad que preferirías contratar sobre una persona para un trabajo arbitrario en el mundo. Creo que, en general, 10 años debería ser un horizonte muy optimista para AGI, solo en contraste con la exageración actual no se siente así. Animales vs Fantasmas. Mi escrito anterior sobre el podcast de Sutton. Soy escéptico de que haya un solo algoritmo simple que puedas soltar en el mundo y que aprenda todo desde cero. Si alguien construye algo así, estaré equivocado y será el avance más increíble en IA. En mi mente, los animales no son un ejemplo de esto en absoluto: están preempacados con un montón de inteligencia por evolución y el aprendizaje que hacen es bastante mínimo en general (ejemplo: cebra al nacer). Poniéndonos nuestros sombreros de ingenieros, no vamos a rehacer la evolución. Pero con los LLMs hemos tropezado con un enfoque alternativo para "preempaquetar" un montón de inteligencia en una red neuronal - no por evolución, sino prediciendo el siguiente token a través de internet. Este enfoque conduce a un tipo diferente de entidad en el espacio de la inteligencia. Distinto de los animales, más como fantasmas o espíritus. Pero podemos (y debemos) hacerlos más parecidos a los animales con el tiempo y en algunos aspectos eso es de lo que trata mucho del trabajo en la frontera. Sobre RL. He criticado RL algunas veces ya. Primero, estás "succionando supervisión a través de una pajilla", así que creo que la señal/flop es muy mala. RL también es muy ruidoso porque una finalización puede tener muchos errores que pueden ser alentados (si por casualidad tropiezas con la respuesta correcta), y, por el contrario, tokens de ideas brillantes que pueden ser desalentados (si por casualidad te equivocas más tarde). La supervisión de procesos y los jueces de LLM también tienen problemas. Creo que veremos paradigmas de aprendizaje alternativos. Estoy a favor de la "interacción agente" pero en contra del "aprendizaje por refuerzo". He visto varios documentos aparecer recientemente que, en mi opinión, están ladrando el árbol correcto a lo largo de lo que llamé "aprendizaje de indicaciones del sistema", pero creo que también hay una brecha entre las ideas en arxiv y la implementación real, a gran escala, en un laboratorio de frontera de LLM que funcione de manera general. En general, soy bastante optimista de que veremos un buen progreso en esta dimensión del trabajo restante bastante pronto, y, por ejemplo, incluso diría que la memoria de ChatGPT y demás son ejemplos primordiales de nuevos paradigmas de aprendizaje. Núcleo cognitivo. Mi publicación anterior sobre el "núcleo cognitivo": la idea de despojar a los LLMs, de hacer más difícil que memoricen, o de eliminar activamente su memoria, para hacerlos mejores en generalización. De lo contrario, se apoyan demasiado en lo que han memorizado. Los humanos no pueden memorizar tan fácilmente, lo que ahora parece más una característica que un error en comparación. Tal vez la incapacidad de memorizar sea una especie de regularización. También mi publicación de hace un tiempo sobre cómo la tendencia en el tamaño del modelo es "hacia atrás" y por qué "los modelos tienen que hacerse primero más grandes antes de poder hacerse más pequeños". Viaje en el tiempo a Yann LeCun 1989. Esta es la publicación que hice de manera muy apresurada/mala en el podcast: ¿Cuánto podrías mejorar los resultados de Yann LeCun con el conocimiento de 33 años de progreso algorítmico? ¿Qué tan limitados estaban los resultados por cada uno de los algoritmos, datos y computación? Estudio de caso allí. nanochat. Mi implementación de extremo a extremo del pipeline de entrenamiento/inferencia de ChatGPT (lo esencial). Sobre los agentes LLM. Mi crítica a la industria es más sobre sobrepasar las herramientas en relación con la capacidad actual. Vivo en lo que veo como un mundo intermedio donde quiero colaborar con los LLMs y donde nuestros pros y contras están equilibrados. La industria vive en un futuro donde entidades totalmente autónomas colaboran en paralelo para escribir todo el código y los humanos son inútiles. Por ejemplo, no quiero un Agente que se vaya durante 20 minutos y regrese con 1,000 líneas de código. Ciertamente no me siento listo para supervisar a un equipo de 10 de ellos. Me gustaría ir en partes que pueda mantener en mi cabeza, donde un LLM explique el código que está escribiendo. Me gustaría que me demostrara que lo que hizo es correcto, quiero que consulte la documentación de la API y me muestre que usó las cosas correctamente. Quiero que haga menos suposiciones y que me pregunte/colabore conmigo cuando no esté seguro de algo. Quiero aprender en el camino y mejorar como programador, no solo recibir montañas de código que me dicen que funciona. Solo creo que las herramientas deberían ser más realistas en relación con su capacidad y cómo encajan en la industria hoy, y temo que si esto no se hace bien podríamos terminar con montañas de desechos acumulándose en el software, y un aumento en vulnerabilidades, brechas de seguridad, etc. Automatización de trabajos. Cómo los radiólogos están haciendo un gran trabajo y qué trabajos son más susceptibles a la automatización y por qué. Física. Los niños deberían aprender física en la educación temprana no porque vayan a hacer física, sino porque es la materia que mejor activa un cerebro. Los físicos son las células madre embrionarias intelectuales. Tengo una publicación más larga que ha estado medio escrita en mis borradores durante aproximadamente un año, que espero terminar pronto. ¡Gracias de nuevo Dwarkesh por tenerme!