Mitt nöje att komma på Dwarkesh förra veckan, jag tyckte att frågorna och samtalet var riktigt bra. Jag såg om podden just nu också. Först och främst, ja jag vet, och jag är ledsen att jag pratar så fort :). Det är till min nackdel, för ibland går min taltråd längre än min tanketråd, så jag tror att jag slarvade bort några förklaringar på grund av det, och ibland var jag också nervös för att jag går för mycket på en tangent eller för djupt in i något relativt falskt. Hur som helst, några noteringar/tips: AGI-tidslinjer. Mina kommentarer om AGI:s tidslinjer ser ut att vara den mest trendiga delen av det tidiga svaret. Detta är "decenniet av agenter" är en referens till denna tidigare tweet I grund och botten är mina AI-tidslinjer ungefär 5-10X pessimistisk w.r.t. vad du hittar i ditt kvarter SF AI hemmafest eller på din twitter tidslinje, men fortfarande ganska optimistisk w.r.t. en stigande flod av AI-förnekare och skeptiker. Den uppenbara konflikten är inte: imo vi samtidigt 1) såg en enorm mängd framsteg under de senaste åren med LLM:er medan 2) det fortfarande finns mycket arbete kvar (grymtarbete, integrationsarbete, sensorer och aktuatorer till den fysiska världen, samhällsarbete, säkerhets- och säkerhetsarbete (jailbreaks, förgiftning, etc.)) och även forskning som ska göras innan vi har en enhet som du föredrar att anställa framför en person för ett godtyckligt jobb i värld. Jag tror att totalt sett borde 10 år annars vara en mycket hausseartad tidslinje för AGI, det är bara i kontrast till den nuvarande hypen som det inte känns så. Djur vs spöken. Min tidigare skrivning om Suttons podcast . Jag misstänker att det finns en enda enkel algoritm som du kan släppa lös i världen och den lär sig allt från grunden. Om någon bygger något sådant kommer jag att ha fel och det kommer att vara det mest otroliga genombrottet inom AI. I mitt sinne är djur inte alls ett exempel på detta - de är förpackade med massor av intelligens genom evolutionen och den inlärning de gör är ganska minimal totalt sett (exempel: zebra vid födseln). Vi tar på oss ingenjörshatten och kommer inte att göra om evolutionen. Men med LLM:er har vi snubblat över ett alternativt tillvägagångssätt för att "förpaketera" massor av intelligens i ett neuralt nätverk - inte genom evolution, utan genom att förutsäga nästa token över internet. Detta tillvägagångssätt leder till en annan typ av enhet inom underrättelseområdet. Skiljer sig från djur, mer som spöken eller andar. Men vi kan (och bör) göra dem mer djurlika med tiden och på sätt och vis är det vad mycket av gränsarbete handlar om. På RL. Jag har kritiserat RL några gånger redan, t.ex. . För det första "suger du övervakning genom ett sugrör", så jag tycker att signalen/floppen är väldigt dålig. RL är också mycket bullrigt eftersom en slutförande kan ha massor av fel som kan uppmuntra (om du råkar snubbla till rätt svar), och omvänt briljanta insiktstokens som kan bli avskräckta (om du råkar göra bort dig senare). Processövervakning och LLM-domare har också problem. Jag tror att vi kommer att se alternativa inlärningsparadigm. Jag är lång "agentisk interaktion" men kort "förstärkningsinlärning" Jag har sett ett antal artiklar dyka upp nyligen som imo skäller upp rätt träd i linje med vad jag kallade "system prompt learning", men jag tror att det också finns en klyfta mellan idéer om arxiv och faktisk, i skala implementering på en LLM gränslaboratorium som fungerar på ett allmänt sätt. Jag är överlag ganska optimistisk om att vi kommer att se goda framsteg på den här dimensionen av återstående arbete ganska snart, och t.ex. skulle jag till och med säga att ChatGPT-minne och så vidare är ursprungliga exempel på nya inlärningsparadigm. Kognitiv kärna. Mitt tidigare inlägg om "kognitiv kärna": , idén om att ta bort LLM:er, att göra det svårare för dem att memorera, eller aktivt ta bort deras minne, för att göra dem bättre på att generalisera. Annars lutar de sig för mycket på vad de har memorerat. Människor kan inte memorera så lätt, vilket nu ser mer ut som en funktion än en bugg i kontrast. Kanske är oförmågan att memorera en slags regularisering. Även mitt inlägg från ett tag tillbaka om hur trenden i modellstorlek är "bakvänd" och varför "modellerna först måste bli större innan de kan bli mindre" Tidsresa till Yann LeCun 1989. Det här är inlägget som jag gjorde ett mycket hastigt/dåligt jobb med att beskriva i podden: . I grund och botten - hur mycket skulle du kunna förbättra Yann LeCuns resultat med vetskapen om 33 års algoritmisk utveckling? Hur begränsade var resultaten av var och en av algoritmer, data och beräkning? Fallstudie därav. nanochat. Min end-to-end-implementering av ChatGPT training/inference pipeline (det allra nödvändigaste) På LLM-agenter. Min kritik av branschen handlar mer om att skjuta över verktygen w.r.t. nuvarande kapacitet. Jag lever i vad jag ser som en mellanvärld där jag vill samarbeta med LLM:er och där våra för- och nackdelar matchas. Branschen lever i en framtid där helt autonoma enheter samarbetar parallellt för att skriva all kod och människor är värdelösa. Jag vill till exempel inte ha en agent som går igång i 20 minuter och kommer tillbaka med 1 000 rader kod. Jag känner mig verkligen inte redo att handleda ett team på 10 av dem. Jag skulle vilja gå i bitar som jag kan hålla i huvudet, där en LLM förklarar koden som den skriver. Jag vill att det ska bevisa för mig att det den gjorde är korrekt, jag vill att den ska hämta API-dokumenten och visa mig att den använde saker korrekt. Jag vill att den ska göra färre antaganden och fråga/samarbeta med mig när jag är osäker på något. Jag vill lära mig längs vägen och bli bättre som programmerare, inte bara bli serverad berg av kod som jag får höra fungerar. Jag tycker bara att verktygen borde vara mer realistiska w.r.t. deras kapacitet och hur de passar in i branschen idag, och jag är rädd att om detta inte görs bra kan vi sluta med berg av slask som ackumuleras över programvara, och en ökning av sårbarheter, säkerhetsöverträdelser och etc. Automatisering av jobb. Hur radiologerna mår bra och vilka jobb som är mer mottagliga för automatisering och varför. Fysik. Barn bör lära sig fysik i tidig utbildning, inte för att de går vidare till fysik, utan för att det är det ämne som bäst sätter upp en hjärna. Fysiker är den intellektuella embryonala stamcellen Jag har ett längre inlägg som har varit halvskrivet i mina utkast i ~år, som jag hoppas kunna avsluta snart. Tack igen Dwarkesh för att jag kom över!