Más allá de la formación previa, así es como imagino que funcionará la mayor parte del aprendizaje. 1. Los modelos/sistemas de IA mantendrán grandes colecciones de conocimientos recuperables. Esto incluirá hechos como "la capital de California es Sacramento" y tácticas como "cuando juegues al Monopoly, compra un montón de propiedades desde el principio" o "asegúrate de que los argumentos predeterminados en Python no sean mutables". El sistema recuperará hechos / conocimientos / tácticas relevantes para realizar tareas. 2. La IA ingerirá todo tipo de datos (libros, bases de código, artículos de noticias, transmisión de información sensorial). Esto sucederá en el momento del entrenamiento, así como mientras se despliega para realizar tareas. 3. A medida que el sistema encuentre nuevos datos, razonará en gran medida para dar sentido a los datos, especialmente para dar sentido a los datos en el contexto del conocimiento existente del sistema. Si los datos son difíciles de entender, por ejemplo, un trabajo de investigación técnica, este proceso será muy intensivo desde el punto de vista computacional y el resultado del razonamiento se destilará en un nuevo conjunto de ideas, tácticas y hechos que se almacenan en el conocimiento del sistema (junto con referencias a los datos sin procesar de los que se derivaron las ideas). Si el nuevo conocimiento contradice los hechos recuperados existentes, se producirá más razonamiento para intentar resolver la contradicción, y los hechos existentes en la colección de conocimiento se actualizarán (junto con el contexto sobre el motivo de la actualización). Esto tiene algunas propiedades agradables. - Una forma de eliminar o corregir conocimientos incorrectos a medida que la IA recopila nueva información. - Cierta interpretabilidad sobre lo que sabe el modelo y sus estrategias para realizar tareas. También la capacidad de auditar / verificar lo que el modelo sabe. - Una forma de beneficiarse del razonamiento en tiempo de entrenamiento en lugar de solo razonar en el momento de la inferencia y luego descartar las ideas ganadas con esfuerzo. - Este tipo de razonamiento del tiempo de entrenamiento tiene el potencial de ser mucho más eficiente en cuanto a datos, pero mucho más intensivo en computación. Este proceso de razonamiento del tiempo de entrenamiento, almacenamiento y recuperación de conocimientos podría ser emergente si se le da la arquitectura adecuada, pero espero que se incorpore inicialmente.