Estaba emocionado de unirme a la conferencia matutina de PyTorchCon. Muchas discusiones interesantes: El aprendizaje por refuerzo es una de las fronteras más prometedoras porque supera el aprendizaje por imitación al aprender objetivos y no demostraciones, descubriendo estrategias más allá de los datos de entrenamiento que el aprendizaje supervisado no puede alcanzar, como los rastros de razonamiento emergente de o1. Pero el preentrenamiento no está muerto. Los avances arquitectónicos como los modelos de difusión para codificación y DeltaNet que mejoran el rendimiento de la memoria asociativa son fronteras prometedoras. Mi filosofía es respaldar a fundadores audaces que construyen en las fronteras, por ejemplo, Voyage AI construyendo incrustaciones vectoriales años antes de que la búsqueda de IA empresarial despegara.