Más allá del preentrenamiento, así es como imagino que funcionará la mayor parte del aprendizaje. 1. Los modelos / sistemas de IA mantendrán grandes colecciones de conocimiento recuperable. Esto incluirá hechos como "la capital de California es Sacramento" y tácticas como "cuando juegues Monopoly, compra un montón de propiedades al principio" o "asegúrate de que los argumentos por defecto en Python no sean mutables". El sistema recuperará hechos / ideas / tácticas relevantes para realizar tareas. 2. La IA ingerirá todo tipo de datos (libros, bases de código, artículos de noticias, entrada sensorial en streaming). Esto ocurrirá tanto en el momento del entrenamiento como mientras esté desplegada para realizar tareas. 3. A medida que el sistema se encuentre con nuevos datos, razonará intensamente para dar sentido a los datos, especialmente para entender los datos en el contexto del conocimiento existente del sistema. Si los datos son difíciles de entender, por ejemplo, un artículo de investigación técnica, este proceso será muy intensivo computacionalmente, y la salida del razonamiento se destilará en un nuevo conjunto de ideas, tácticas y hechos que se almacenarán en el conocimiento del sistema (junto con referencias a los datos en bruto de los que se derivaron las ideas). Si el nuevo conocimiento contradice hechos recuperados existentes, se llevará a cabo más razonamiento para intentar resolver la contradicción, y los hechos existentes en la colección de conocimiento se actualizarán (junto con el contexto sobre la razón de la actualización). Esto tiene algunas propiedades interesantes. - Una forma de eliminar o corregir conocimiento incorrecto a medida que la IA recopila nueva información. - Algo de interpretabilidad sobre lo que el modelo sabe y sus estrategias para realizar tareas. También la capacidad de auditar / verificar lo que el modelo sabe. - Una forma de beneficiarse del razonamiento en el tiempo de entrenamiento en lugar de solo razonar en el tiempo de inferencia y luego descartar ideas duramente ganadas. - Este tipo de razonamiento en el tiempo de entrenamiento tiene el potencial de ser mucho más eficiente en datos, pero mucho más intensivo en computación. Este proceso de razonamiento en el tiempo de entrenamiento, almacenamiento de conocimiento y recuperación podría ser emergente dado la arquitectura adecuada, pero espero que esté integrado inicialmente.