Vibe Minecraft: en flerspiller, selvkonsistent verdensmodell i sanntid som gjør det mulig å bygge hva som helst og trylle frem alle gjenstander. Funksjonen til verktøy og til og med selve spillmekanikken kan programmeres av naturlig språk, for eksempel "chrono-pickaxe: tilbakestill enhver blokk til en tidligere tilstand i tide" og "fossefall blir til regnbuebro når enhjørninger går forbi". Spillere definerer og manipulerer kollektivt en delt verden. Den nevrale simen tar som input en *multimodal* systemmelding: spilleregler, eiendelspng-er, et globalt kart og påskeegg. Den lagrer med jevne mellomrom spilltilstander som en sekvens av latente vektorer som kan lastes tilbake i kontekst, eventuelt med sammenflettede "veiledningstekster" for å tillate enkel redigering. Hver spiller har sin egen eksplisitte statistikk json (helse, inventar, 3D-koordinat) samt implisitte "spillervektorer" som fanger opp interaksjonshistorikk av høyere orden. Spilladministratorer kan lage et Minecraft-multivers fordi de latente er kompatible fra forskjellige servere. Hver verden kan sømløst krysse med en annen for å skape nye verdener på sekunder. Folk kan mikse og matche med vennenes eller sine egne tidligere stater. «Sjeldne vektorer» kan dukke opp når noen spillere uunngåelig vil vandre inn i det bisarre, ukjente latente rommet i verdensmodellen. Disse flytematrisene kan handles som NFT-er. Jo villere ting du prøver, jo mer sannsynlig er det at du utvinner sjeldne vektorer. Den som sender Vibe Minecraft først, vil gå inn i historien som å endre spillforløpet for alltid.

Vil gjerne se FSD-skaleringsloven, siden det er det eneste fysiske datasvinghjulet på planetarisk skala. Hva er «terskelen for nye evner» for modell-/datastørrelse?

Dette er spillmotor 2.0. En dag vil all kompleksiteten til UE5 bli absorbert av en datadrevet klatt av oppmerksomhetsvekter. Disse vektene tar som inngang spillkontrollerkommandoer og animerer direkte en romtidsdel av piksler. Agrim og jeg var nære venner og medforfattere tilbake på Stanford Vision Lab. Så flott å se ham i forkant av så kul forskning! Congrats!

Ingen em-strek skal bakes inn i førtrening, ettertrening, justering, systemmelding og hver krik og krok i en LLMs livssyklus. Det må kobles inn i kjernen, identiteten og selve vesenet til modellen.

Jeg observerer et mini-Moravecs paradoks innen robotikk: gymnastikk som er vanskelig for mennesker er mye enklere for roboter enn "usexy" oppgaver som matlaging, rengjøring og montering. Det fører til en kognitiv dissonans for folk utenfor feltet, "så roboter kan parkour og breakdance, men hvorfor kan de ikke ta vare på hunden min?" Stol på meg, jeg ble spurt av foreldrene mine om dette mer enn du tror ... "Robot Moravecs paradoks" skaper også en illusjon om at fysiske AI-evner er mye mer avanserte enn de egentlig er. Jeg skiller ikke ut Unitree, da det gjelder bredt for alle nyere akrobatiske demoer i bransjen. Her er en enkel test: Hvis du setter opp en vegg foran den sidevendende roboten, vil den smelle inn i den med full kraft og lage et skuespill. Fordi det bare overpasser den ene referansebevegelsen, uten noen bevissthet om omgivelsene. Her er grunnen til at paradokset eksisterer: det er mye lettere å trene en "blind gymnast" enn en robot som ser og manipulerer. Førstnevnte kan løses helt i simulering og overføres zero-shot til den virkelige verden, mens sistnevnte krever ekstremt realistisk gjengivelse, kontaktfysikk og rotete objektdynamikk i den virkelige verden - ingen av dem kan simuleres godt. Tenk deg at du kan trene LLM-er ikke fra internett, men fra et rent håndlaget tekstkonsollspill. Robotikere var heldige. Vi lever tilfeldigvis i en verden der akselererte fysikkmotorer er så gode at vi kan slippe unna med imponerende akrobatikk ved å bruke bokstavelig talt null reelle data. Men vi har ennå ikke oppdaget den samme juksekoden for generell fingerferdighet. Inntil da vil vi fortsatt bli avhørt av våre forvirrede foreldre.

Baren min for AGI er langt enklere: en AI som lager en god middag hjemme hos hvem som helst for ethvert kjøkken. Den fysiske Turing-testen er høyst sannsynlig vanskeligere enn Nobelprisen. Moravecs paradoks vil fortsette å hjemsøke oss, truende større og mørkere, i tiåret som kommer.

Jeg har vært litt stille på X i det siste. Det siste året har vært en transformerende opplevelse. Grok-4 og Kimi K2 er fantastiske, men robotverdenen er et vidunderlig ville vesten. Det føles som NLP i 2018 da GPT-1 ble publisert, sammen med BERT og tusen andre blomster som blomstret. Ingen visste hvilken som til slutt ville bli ChatGPT. Debattene var opphetede. Entropien var skyhøy. Ideer var sinnsykt morsomme. Jeg tror GPT-1 for robotikk allerede er et sted på Arxiv, men vi vet ikke nøyaktig hvilken. Kan være verdensmodeller, RL, læring fra menneskelig video, sim2real, real2sim, etc. etc, eller en hvilken som helst kombinasjon av dem. Debattene er opphetede. Entropien er skyhøy. Ideer er sinnsykt morsomme, i stedet for å presse de siste % på AIME og GPQA. Robotikkens natur kompliserer også designområdet i stor grad. I motsetning til den rene verdenen av biter for LLM-er (tekststrenger), må vi robotikere forholde oss til atomenes rotete verden. Tross alt er det en klump programvaredefinert metall i loopen. LLM-normer kan finne det vanskelig å tro, men så langt kan robotikere fortsatt ikke bli enige om en målestokk! Ulike roboter har forskjellige kapasitetskonvolutter - noen er bedre på akrobatikk mens andre på objektmanipulering. Noen er ment for industriell bruk, mens andre er for husholdningsoppgaver. Kryssutførelse er ikke bare en forskningsnyhet, men en viktig funksjon for en universell robothjerne. Jeg har snakket med dusinvis av C-suite-ledere fra forskjellige robotselskaper, gamle og nye. Noen selger hele kroppen. Noen selger kroppsdeler som fingernemme hender. Mange flere selger spadene for å produsere nye kropper, lage simuleringer eller samle inn enorme mengder data. Forretningsidéområdet er like vilt som forskningen selv. Det er et nytt gullrush, som vi ikke har sett siden ChatGPT-bølgen i 2022. Den beste tiden å delta på er når ikke-konsensus topper seg. Vi er fortsatt i starten av en tapskurve - det er sterke tegn på liv, men langt, langt unna konvergens. Hvert gradienttrinn tar oss inn i det ukjente. Men en ting vet jeg sikkert - det er ingen AGI uten å berøre, føle og bli legemliggjort i den rotete verdenen. På et mer personlig notat - å drive et forskningslaboratorium kommer med et helt nytt nivå av ansvar. Å gi oppdateringer direkte til administrerende direktør i et selskap på $4T er, for å si det mildt, både spennende og altoppslukende av oppmerksomhetsvektene mine. Borte er tiden da jeg kunne holde meg oppdatert på og dykke dypt inn i alle AI-nyheter. Jeg skal prøve å sette av tid til å dele mer av reisen min.

Deltar på CVPR i Nashville! Send meg en e-post eller DM. Jeg flyter rundt i lokalet som brownsk bevegelse. Rekruttering!

Den fysiske Turing-testen: Huset ditt er et fullstendig rot etter et hackathon på søndag. Mandag kveld kommer du hjem til en plettfri stue og en middag med levende lys. Og du kunne ikke se om et menneske eller en maskin hadde vært der. Villedende enkelt, sinnsykt vanskelig. Det er den neste nordstjernen for AI. Drømmen som holder meg våken kl. 12 på laboratoriet. Visjonen for den neste dataplattformen som automatiserer biter av atomer i stedet for biter av biter. Takk Sequoia for at du var vert for meg på AI Ascent! Nedenfor er hele foredraget mitt om de første prinsippene for å løse generell robotikk: hvordan vi tenker på datastrategien og skaleringslovene. Jeg forsikrer deg om at det vil være 17 minutter du ikke angrer på!

En dag i løpet av det neste tiåret vil vi ha roboter i hvert hjem, hvert sykehus og fabrikk, som gjør alle kjedelige og farlige jobber med overmenneskelig fingerferdighet. Den dagen vil bli kjent som "torsdag". Ikke engang Turing ville våge å drømme om livet vårt i sine villeste drømmer.