Estaba emocionado de unirme al discurso de apertura de la mañana para PyTorchCon. Muchas discusiones divertidas: RL es una de las fronteras más prometedoras porque supera el aprendizaje por imitación a medida que aprende objetivos, no demostraciones, descubriendo estrategias más allá de los datos de entrenamiento que el aprendizaje supervisado no puede alcanzar, como los rastros de razonamiento emergentes de o1. Pero el entrenamiento previo no está muerto. Los avances arquitectónicos como los modelos de difusión para la codificación y DeltaNet que mejoran el rendimiento de la memoria asociativa son fronteras prometedoras. Mi filosofía es respaldar a fundadores audaces que construyen en las fronteras, por ejemplo, Voyage AI construyendo incrustaciones de vectores años antes de que despegara la búsqueda de IA empresarial.