Ik ben enthousiast om te delen dat ik onlangs bij het MSL-team ben gekomen! Het bouwen van persoonlijke superintelligentie is hier serieus en leuk. Doe met ons mee!

📣 Enthousiast om onze real-world studie van een LLM klinische copiloot te delen, een samenwerking tussen @OpenAI en @PendaHealth. In 39.849 live patiëntbezoeken hadden clinici met AI een relatieve vermindering van 16% in diagnostische fouten en een vermindering van 13% in behandelingsfouten in vergelijking met degenen zonder. 🧵

Dit is mijn lezing van 2 maanden geleden bij @Cornell "Hoe verhoog ik mijn output?" Een natuurlijk antwoord is: "Ik zal nog een paar uur werken." Langer doorwerken kan helpen, maar uiteindelijk loop je tegen een fysieke grens aan. Een betere vraag is: "Hoe verhoog ik mijn output zonder de input zo veel te verhogen?" Dat is hefboomwerking. We horen "hefboomwerking" zo vaak dat de implicatie ervan gemakkelijk over het hoofd wordt gezien. Mijn persoonlijke favoriete categorisering van hefboomwerking is door Naval Ravikant: menselijke arbeid, kapitaal en code / media. Elk heeft in de geschiedenis grote golven van welvaartscreatie teweeggebracht. Zodra een hefboombron echter populair wordt (denk aan YouTube-kanalen van vandaag versus tien jaar geleden), drukt de concurrentie de marge. Dus wanneer er een nieuwe hefboomwerking verschijnt, is dit een zeldzame kans op buitensporige winsten. In deze lezing beschrijf ik AI als die opkomende hefboomwerking. Een AI-agent combineert arbeidshefboomwerking (het werkt voor u en heeft geen toestemming) met codehefboomwerking (u kunt het kopiëren en plakken). Het is cliché om te zeggen dat AI enorme rijkdom zal creëren. Maar door deze hefboomlens te gebruiken, kunnen we de luidruchtige AI-nieuwscyclus op een consistente manier interpreteren en de echte kansen ontdekken. Bedankt @unsojo voor het hosten van mij!

Nieuwe blogpost over asymmetrie van verificatie en "wet van de verificateur": Asymmetrie van verificatie - het idee dat sommige taken veel gemakkelijker te verifiëren zijn dan op te lossen - wordt een belangrijk idee omdat we RL hebben dat eindelijk in het algemeen werkt. Goede voorbeelden van asymmetrie van verificatie zijn dingen als sudoku-puzzels, het schrijven van de code voor een website als Instagram en BrowseComp-problemen (er zijn ~ 100 websites nodig om het antwoord te vinden, maar gemakkelijk te verifiëren als je eenmaal het antwoord hebt). Andere taken hebben een bijna-symmetrie van verificatie, zoals het optellen van twee getallen van 900 cijfers of sommige gegevensverwerkingsscripts. Toch zijn andere taken veel gemakkelijker om haalbare oplossingen voor te stellen dan om ze te verifiëren (bijvoorbeeld het controleren van een lang essay of het vermelden van een nieuw dieet zoals "eet alleen bizons"). Een belangrijk ding om te begrijpen over asymmetrie van verificatie is dat je de asymmetrie kunt verbeteren door vooraf wat werk te doen. Bijvoorbeeld als je de antwoordsleutel hebt voor een wiskundig probleem of als je testcases hebt voor een Leetcode-probleem. Dit vergroot het aantal problemen met gewenste verificatie-asymmetrie aanzienlijk. "De wet van de verificateur" stelt dat het gemak waarmee AI kan worden getraind om een taak op te lossen, evenredig is met hoe verifieerbaar de taak is. Alle taken die mogelijk op te lossen en gemakkelijk te verifiëren zijn, worden opgelost door AI. De mogelijkheid om AI te trainen om een taak op te lossen, is evenredig met het feit of de taak de volgende eigenschappen heeft: 1. Objectieve waarheid: iedereen is het erover eens wat goede oplossingen zijn 2. Snel te verifiëren: elke oplossing kan in een paar seconden worden geverifieerd 3. Schaalbaar om te verifiëren: veel oplossingen kunnen tegelijkertijd worden geverifieerd 4. Laag geluidsniveau: de verificatie is zo nauw mogelijk gecorreleerd met de kwaliteit van de oplossing 5. Voortdurende beloning: het is gemakkelijk om de goedheid van veel oplossingen voor een enkel probleem te rangschikken Een voor de hand liggende instantiatie van de wet van de verificateur is het feit dat de meeste benchmarks die in AI worden voorgesteld, gemakkelijk te verifiëren zijn en tot nu toe zijn opgelost. Merk op dat vrijwel alle populaire benchmarks in de afgelopen tien jaar voldoen aan criterium #1-4; Benchmarks die niet voldoen aan criteria #1-4 zouden moeite hebben om populair te worden. Waarom is verifieerbaarheid zo belangrijk? De hoeveelheid leren in AI die plaatsvindt, wordt gemaximaliseerd wanneer aan de bovenstaande criteria is voldaan; Je kunt veel gradiëntstappen nemen waarbij elke stap veel signaal heeft. Snelheid van iteratie is van cruciaal belang - het is de reden dat de vooruitgang in de digitale wereld zoveel sneller is gegaan dan de vooruitgang in de fysieke wereld. AlphaEvolve van Google is een van de beste voorbeelden van het benutten van asymmetrie van verificatie. Het richt zich op opstellingen die aan alle bovenstaande criteria voldoen en heeft geleid tot een aantal vorderingen in de wiskunde en andere gebieden. Anders dan wat we de afgelopen twee decennia in AI hebben gedaan, is het een nieuw paradigma in die zin dat alle problemen worden geoptimaliseerd in een omgeving waarin de treinset gelijk is aan de testset. Asymmetrie van verificatie is overal en het is opwindend om een wereld van gekartelde intelligentie te overwegen waar alles wat we kunnen meten, wordt opgelost.

De longevity mix van Bryan Johnson is de populairste drank op feesten in SF.

rechtstreeks knaller, ik las onmiddellijk

Normaal datingadvies voor mensen: trouw niet vroeg als je elk jaar veel groeit en verandert AI-maatje (@YiTayML): Je bent als een neuraal net midden in de training en het verlies verbetert nog steeds. Het is beter om te trainen in convergentie in plaats van een vroege momentopname van het checkpoint te maken

We hebben nog geen AI die zichzelf verbetert, en wanneer we dat wel hebben, zal het een game-changer zijn. Met meer wijsheid nu vergeleken met de dagen van GPT-4, is het duidelijk dat het geen "snelle stijging" zal zijn, maar eerder extreem geleidelijk over vele jaren, waarschijnlijk een decennium. Het eerste wat je moet weten is dat zelfverbetering, d.w.z. modellen die zichzelf trainen, niet binair is. Overweeg het scenario waarin GPT-5 GPT-6 traint, wat ongelooflijk zou zijn. Zou GPT-5 plotseling van niet in staat om GPT-6 te trainen naar het extreem bekwaam trainen van GPT-6 gaan? Zeker niet. De eerste trainingsruns van GPT-6 zouden waarschijnlijk extreem inefficiënt zijn in tijd en rekenkracht vergeleken met menselijke onderzoekers. En pas na veel pogingen zou GPT-5 daadwerkelijk in staat zijn om GPT-6 beter te trainen dan mensen. Ten tweede, zelfs als een model zichzelf zou kunnen trainen, zou het niet plotseling beter worden in alle domeinen. Er is een gradient van moeilijkheid in hoe moeilijk het is om zichzelf te verbeteren in verschillende domeinen. Bijvoorbeeld, misschien werkt zelfverbetering in het begin alleen in domeinen waarvan we al weten hoe we ze gemakkelijk kunnen oplossen na de training, zoals basis hallucinaties of stijl. Vervolgens zou wiskunde en coderen komen, wat meer werk kost maar gevestigde methoden heeft voor het verbeteren van modellen. En dan, aan de extreme kant, kun je je voorstellen dat er enkele taken zijn die erg moeilijk zijn voor zelfverbetering. Bijvoorbeeld, de mogelijkheid om Tlingit te spreken, een inheemse Amerikaanse taal die door ~500 mensen wordt gesproken. Het zal erg moeilijk zijn voor het model om zichzelf te verbeteren in het spreken van Tlingit, aangezien we nog geen manieren hebben om laag-resources talen zoals deze op te lossen, behalve het verzamelen van meer gegevens, wat tijd kost. Dus vanwege de gradient van moeilijkheid van zelfverbetering, zal het niet allemaal tegelijk gebeuren. Ten slotte, misschien is dit controversieel, maar uiteindelijk wordt vooruitgang in de wetenschap gebottlenecked door experimenten in de echte wereld. Sommigen geloven misschien dat het lezen van alle biologiepapers ons de genezing voor kanker zou vertellen, of dat het lezen van alle ML-papers en het beheersen van alle wiskunde je in staat zou stellen om GPT-10 perfect te trainen. Als dit het geval was, zouden de mensen die de meeste papers lezen en de meeste theorie bestuderen de beste AI-onderzoekers zijn. Maar wat er echt is gebeurd, is dat AI (en vele andere velden) gedomineerd werd door meedogenloos empirische onderzoekers, wat weerspiegelt hoeveel vooruitgang is gebaseerd op experimenten in de echte wereld in plaats van op ruwe intelligentie. Dus mijn punt is, hoewel een super slimme agent misschien 2x of zelfs 5x betere experimenten kan ontwerpen dan onze beste menselijke onderzoekers, moeten ze aan het eind van de dag nog steeds wachten tot experimenten zijn uitgevoerd, wat een versnelling zou zijn maar geen snelle stijging. Samenvattend zijn er veel bottlenecks voor vooruitgang, niet alleen ruwe intelligentie of een zelfverbeteringssysteem. AI zal veel domeinen oplossen, maar elk domein heeft zijn eigen voortgangsnelheid. En zelfs de hoogste intelligentie zal nog steeds experimenten in de echte wereld vereisen. Dus het zal een versnelling zijn en geen snelle stijging, bedankt voor het lezen van mijn rant.

Het meest belonende aan werken op kantoor in de avonden en in het weekend is niet het werk dat je daadwerkelijk verzet, maar de spontane gesprekken met andere mensen die altijd aan het werk zijn. Het zijn de mensen die de neiging hebben om grote dingen te doen en die je meest succesvolle vrienden zullen worden.

Ik zou zeggen dat we ongetwijfeld bij AGI zijn wanneer AI een echte, levende eenhoorn kan creëren. En nee, ik bedoel geen $1B bedrijf, jullie nerds, ik bedoel een letterlijke roze paard met een spiraalvormige hoorn. Een toonbeeld van wetenschappelijke vooruitgang in genetische engineering en celprogrammering. De stof van kinderdromen. Durf ik te zeggen dat het in onze levens zal gebeuren.