Het was mijn plezier om vorige week bij Dwarkesh te zijn, ik vond de vragen en het gesprek echt goed. Ik heb de podcast net opnieuw bekeken. Ten eerste, ja, ik weet het, en het spijt me dat ik zo snel spreek :). Het is mijn nadeel omdat soms mijn spreekdraad sneller gaat dan mijn denkdraad, dus ik denk dat ik een paar uitleggen heb verknald daardoor, en soms was ik ook nerveus dat ik te veel afweek of te diep op iets relatief onbenulligs inging. Hoe dan ook, een paar aantekeningen/aanwijzingen: AGI-tijdlijnen. Mijn opmerkingen over AGI-tijdlijnen lijken het meest trending deel van de vroege reactie te zijn. Dit is de "decade of agents" en verwijst naar deze eerdere tweet. In wezen zijn mijn AI-tijdlijnen ongeveer 5-10X pessimistischer ten opzichte van wat je zult vinden op je buurt SF AI-feestje of op je Twitter-tijdlijn, maar nog steeds vrij optimistisch ten opzichte van een stijgende vloed van AI-ontkenners en sceptici. Het schijnbare conflict is er niet: imo hebben we tegelijkertijd 1) een enorme hoeveelheid vooruitgang gezien in de afgelopen jaren met LLM's terwijl 2) er nog veel werk te doen is (gruntwerk, integratiewerk, sensoren en actuatoren naar de fysieke wereld, maatschappelijk werk, veiligheids- en beveiligingswerk (jailbreaks, vergiftiging, enz.)) en ook onderzoek dat gedaan moet worden voordat we een entiteit hebben die je liever zou inhuren dan een persoon voor een willekeurige baan in de wereld. Ik denk dat 10 jaar over het algemeen een zeer optimistische tijdlijn voor AGI zou moeten zijn, het voelt alleen zo aan in contrast met de huidige hype. Dieren vs Geesten. Mijn eerdere schrijfsel over de podcast van Sutton. Ik ben er wantrouwig tegenover dat er een enkele eenvoudige algoritme is die je op de wereld kunt loslaten en die alles vanaf nul leert. Als iemand zoiets bouwt, heb ik ongelijk en zal het de meest ongelooflijke doorbraak in AI zijn. In mijn ogen zijn dieren hier helemaal geen voorbeeld van - ze zijn door de evolutie verpakt met een hoop intelligentie en het leren dat ze doen is over het algemeen vrij minimaal (voorbeeld: Zebra bij de geboorte). Als we onze ingenieurshoed opzetten, gaan we de evolutie niet opnieuw doen. Maar met LLM's zijn we per ongeluk op een alternatieve manier gestoten om een hoop intelligentie in een neuraal netwerk "vooraf in te pakken" - niet door evolutie, maar door de volgende token over het internet te voorspellen. Deze benadering leidt tot een ander soort entiteit in de intelligentieruimte. Verschillend van dieren, meer als geesten of zielen. Maar we kunnen (en moeten) ze in de loop van de tijd meer dierlijk maken en op sommige manieren is dat waar veel grenswerk over gaat. Over RL. Ik heb RL al een paar keer bekritiseerd, bijv. . Ten eerste, je "zuigt supervisie door een rietje", dus ik denk dat het signaal/flop erg slecht is. RL is ook erg ruisachtig omdat een voltooiing veel fouten kan bevatten die aangemoedigd kunnen worden (als je toevallig op het juiste antwoord stuit), en omgekeerd briljante inzichttokens die ontmoedigd kunnen worden (als je later iets verknalt). Procesbegeleiding en LLM-rechters hebben ook problemen. Ik denk dat we alternatieve leerparadigma's zullen zien. Ik ben voor "agentic interaction" maar tegen "versterkend leren". Ik heb recentelijk een aantal papers gezien die imo de juiste richting op gaan langs de lijnen van wat ik "system prompt learning" noemde, maar ik denk dat er ook een kloof is tussen ideeën op arxiv en daadwerkelijke, op schaal implementatie in een LLM-grenslab dat op een algemene manier werkt. Ik ben over het algemeen vrij optimistisch dat we binnenkort goede vooruitgang op deze dimensie van het resterende werk zullen zien, en bijv. ik zou zelfs zeggen dat ChatGPT-geheugen en dergelijke primaire geïmplementeerde voorbeelden zijn van nieuwe leerparadigma's. Cognitieve kern. Mijn eerdere post over "cognitieve kern": , het idee om LLM's te ontmantelen, om het moeilijker voor hen te maken om te memoriseren, of actief hun geheugen weg te strippen, om ze beter te maken in generalisatie. Anders leunen ze te veel op wat ze hebben gememoriseerd. Mensen kunnen niet zo gemakkelijk memoriseren, wat nu meer als een functie dan een bug lijkt in vergelijking. Misschien is het onvermogen om te memoriseren een soort regularisatie. Ook mijn post van een tijd geleden over hoe de trend in modelgrootte "achteruit" is en waarom "de modellen eerst groter moeten worden voordat ze kleiner kunnen worden". Tijdreizen naar Yann LeCun 1989. Dit is de post die ik een zeer haastige/slechte beschrijving van heb gegeven in de podcast: . In wezen - hoeveel zou je de resultaten van Yann LeCun kunnen verbeteren met de kennis van 33 jaar algoritmische vooruitgang? Hoe beperkt waren de resultaten door elk van de algoritmen, gegevens en rekenkracht? Gevalstudie daar van. nanochat. Mijn end-to-end implementatie van de ChatGPT-trainings/inferentie-pijplijn (de essentiële basis). Over LLM-agenten. Mijn kritiek op de industrie is meer in het overschieten van de tooling ten opzichte van de huidige mogelijkheden. Ik leef in wat ik beschouw als een tussenliggende wereld waar ik wil samenwerken met LLM's en waar onze voor- en nadelen op elkaar zijn afgestemd. De industrie leeft in een toekomst waar volledig autonome entiteiten parallel samenwerken om alle code te schrijven en mensen nutteloos zijn. Bijvoorbeeld, ik wil geen Agent die 20 minuten weggaat en terugkomt met 1.000 regels code. Ik voel me zeker niet klaar om een team van 10 van hen te superviseren. Ik wil in brokken gaan die ik in mijn hoofd kan houden, waar een LLM de code uitlegt die het schrijft. Ik wil dat het me bewijst dat wat het deed correct is, ik wil dat het de API-documentatie ophaalt en me laat zien dat het dingen correct heeft gebruikt. Ik wil dat het minder aannames doet en mij vraagt/samenwerkt als het ergens niet zeker van is. Ik wil onderweg leren en beter worden als programmeur, niet alleen bergen code krijgen die me wordt verteld dat het werkt. Ik denk gewoon dat de tools realistischer moeten zijn ten opzichte van hun mogelijkheden en hoe ze in de industrie van vandaag passen, en ik vrees dat als dit niet goed wordt gedaan, we misschien eindigen met bergen rommel die zich ophopen in software, en een toename van kwetsbaarheden, beveiligingsinbreuken, enz. Banautomatisering. Hoe de radiologen het geweldig doen en welke banen meer vatbaar zijn voor automatisering en waarom. Fysica. Kinderen zouden fysica moeten leren in het vroege onderwijs, niet omdat ze fysica gaan doen, maar omdat het het onderwerp is dat het beste een brein opstart. Fysici zijn de intellectuele embryonale stamcel. Ik heb een langere post die al een jaar half geschreven in mijn concepten staat, die ik hoop binnenkort af te ronden. Nogmaals bedankt Dwarkesh voor het ontvangen van mij!