Au-delà de la pré-formation, voici comment j'imagine que la plupart des apprentissages fonctionneront. 1. Les modèles / systèmes d'IA maintiendront de grandes collections de connaissances récupérables. Cela inclura des faits comme "la capitale de la Californie est Sacramento" et des tactiques comme "lorsque vous jouez à Monopoly, achetez un tas de propriétés dès le début" ou "assurez-vous que les arguments par défaut en Python ne sont pas mutables". Le système récupérera des faits / idées / tactiques pertinents pour effectuer des tâches. 2. L'IA ingérera tous types de données (livres, bases de code, articles de presse, entrées sensorielles en streaming). Cela se produira à l'heure de la formation ainsi que lors du déploiement pour effectuer des tâches. 3. Au fur et à mesure que le système rencontre de nouvelles données, il raisonnnera fortement pour donner un sens aux données, en particulier pour les comprendre dans le contexte des connaissances existantes du système. Si les données sont difficiles à comprendre, par exemple, un article de recherche technique, ce processus sera très intensif en calcul, et le résultat du raisonnement sera distillé en un nouvel ensemble d'idées, de tactiques et de faits qui seront stockés dans les connaissances du système (avec des références aux données brutes dont les idées ont été dérivées). Si les nouvelles connaissances contredisent des faits récupérés existants, un raisonnement supplémentaire aura lieu pour tenter de résoudre la contradiction, et les faits existants dans la collection de connaissances seront mis à jour (avec un contexte sur la raison de la mise à jour). Cela a quelques propriétés intéressantes. - Un moyen de supprimer ou de corriger des connaissances incorrectes à mesure que l'IA recueille de nouvelles informations. - Une certaine interprétabilité sur ce que le modèle sait et ses stratégies pour effectuer des tâches. Également la capacité d'auditer / vérifier ce que le modèle sait. - Un moyen de bénéficier du raisonnement en temps de formation plutôt que de simplement raisonner au moment de l'inférence et ensuite de jeter des idées durement acquises. - Ce type de raisonnement en temps de formation a le potentiel d'être beaucoup plus efficace en termes de données, mais beaucoup plus intensif en calcul. Ce processus de raisonnement en temps de formation, de stockage de connaissances et de récupération pourrait émerger étant donné la bonne architecture, mais je m'attends à ce qu'il soit initialement intégré.