Voorbij de pre-training, hier is hoe ik me voorstel dat het meeste leren zal werken. 1. AI-modellen / systemen zullen grote collecties van opvraagbare kennis onderhouden. Dit zal feiten omvatten zoals "de hoofdstad van Californië is Sacramento" en tactieken zoals "koop een hoop eigendommen vroeg in Monopoly" of "zorg ervoor dat standaardargumenten in Python niet mutabel zijn". Het systeem zal relevante feiten / inzichten / tactieken ophalen om taken uit te voeren. 2. AI zal alle soorten gegevens verwerken (boeken, codebases, nieuwsartikelen, streaming sensorische input). Dit zal gebeuren tijdens de trainingstijd, evenals terwijl het is ingezet om taken uit te voeren. 3. Terwijl het systeem nieuwe gegevens tegenkomt, zal het intensief redeneren om de gegevens te begrijpen, vooral om de gegevens te begrijpen in de context van de bestaande kennis van het systeem. Als de gegevens moeilijk te begrijpen zijn, bijvoorbeeld een technisch onderzoeksdocument, zal dit proces zeer rekenintensief zijn, en de output van de redenering zal worden gedistilleerd in een nieuwe set van inzichten, tactieken en feiten die in de kennis van het systeem worden opgeslagen (samen met verwijzingen naar de ruwe gegevens waaruit de inzichten zijn afgeleid). Als de nieuwe kennis in tegenspraak is met bestaande opgevraagde feiten, zal er meer redenering plaatsvinden om te proberen de tegenstrijdigheid op te lossen, en bestaande feiten in de kenniscollectie zullen worden bijgewerkt (samen met context over de reden voor de update). Dit heeft enkele mooie eigenschappen. - Een manier om onjuiste kennis te verwijderen of te corrigeren naarmate de AI nieuwe informatie verzamelt. - Enige interpreteerbaarheid over wat het model weet en zijn strategieën voor het uitvoeren van taken. Ook de mogelijkheid om te auditen / controleren wat het model weet. - Een manier om te profiteren van redenering tijdens de trainingstijd in plaats van alleen redenering tijdens de inferentietijd en vervolgens moeilijk verworven inzichten te verwerpen. - Dit soort redenering tijdens de trainingstijd heeft het potentieel om veel data-efficiënter te zijn, maar veel rekenintensiever. Dit proces van redenering tijdens de trainingstijd, kennisopslag en -ophaling zou emergent kunnen zijn, gegeven de juiste architectuur, maar ik verwacht dat het aanvankelijk ingebakken zal zijn.