Über das Pre-Training hinaus, so stelle ich mir vor, wird das meiste Lernen funktionieren. 1. KI-Modelle / -systeme werden große Sammlungen abrufbarer Kenntnisse pflegen. Dazu gehören Fakten wie "Die Hauptstadt von Kalifornien ist Sacramento" und Taktiken wie "Wenn man Monopoly spielt, kaufe früh viele Immobilien" oder "Stelle sicher, dass Standardargumente in Python nicht veränderlich sind". Das System wird relevante Fakten / Erkenntnisse / Taktiken abrufen, um Aufgaben zu erfüllen. 2. KI wird alle Arten von Daten aufnehmen (Bücher, Codebasen, Nachrichtenartikel, Streaming-Sensorik). Dies wird sowohl während der Trainingszeit als auch während des Einsatzes zur Durchführung von Aufgaben geschehen. 3. Wenn das System auf neue Daten stößt, wird es stark schlussfolgern, um die Daten zu verstehen, insbesondere um die Daten im Kontext des bestehenden Wissens des Systems zu verstehen. Wenn die Daten schwer zu verstehen sind, z. B. ein technisches Forschungspapier, wird dieser Prozess sehr rechenintensiv sein, und das Ergebnis des Schließens wird in eine neue Reihe von Erkenntnissen, Taktiken und Fakten destilliert, die im Wissensspeicher des Systems gespeichert werden (neben Verweisen auf die Rohdaten, aus denen die Erkenntnisse abgeleitet wurden). Wenn das neue Wissen den bestehenden abgerufenen Fakten widerspricht, wird weiteres Schließen stattfinden, um zu versuchen, den Widerspruch zu lösen, und bestehende Fakten in der Wissenssammlung werden aktualisiert (neben dem Kontext über den Grund für das Update). Dies hat einige schöne Eigenschaften. - Eine Möglichkeit, falsches Wissen zu entfernen oder zu korrigieren, während die KI neue Informationen sammelt. - Eine gewisse Interpretierbarkeit darüber, was das Modell weiß und welche Strategien es zur Durchführung von Aufgaben hat. Auch die Möglichkeit, zu prüfen / zu überprüfen, was das Modell weiß. - Eine Möglichkeit, von der Schlussfolgerung während der Trainingszeit zu profitieren, anstatt nur während der Inferenzzeit zu schlussfolgern und dann hart erarbeitete Erkenntnisse zu verwerfen. - Diese Art von Schlussfolgerung während der Trainingszeit hat das Potenzial, viel dateneffizienter zu sein, ist aber weitaus rechenintensiver. Dieser Prozess des Schließens während der Trainingszeit, der Wissensspeicherung und -abruf könnte emergent sein, wenn die richtige Architektur gegeben ist, aber ich erwarte, dass er zunächst fest integriert ist.