En ny 30-minutters presentasjon fra @aelluswamy, Teslas VP of AI, har blitt sluppet, hvor han snakker om FSD, AI og teamets siste fremgang. Høydepunkt fra presentasjonen: • Teslas kjøretøyflåte kan gi 500 år med kjøredata hver eneste dag. Dimensjonalitetens forbannelse: • 8 kameraer med høy bildefrekvens = milliarder av tokens per 30 sekunders kjørekontekst. • Tesla må komprimere og trekke ut de riktige korrelasjonene mellom sanseinntrykk og kontrollhandlinger. Data Fordel: • Tesla har tilgang til en «Niagara Falls of data» – hundrevis av år med kollektiv flåtekjøring. • Bruker smarte datautløsere for å fange opp sjeldne hjørnetilfeller (f.eks. komplekse kryss, uforutsigbar oppførsel). Kvalitet og effektivitet: • Trekker bare ut de essensielle dataene som trengs for å trene modeller effektivt. Feilsøking og tolkbarhet: • Selv om systemet er ende-til-ende, kan Tesla fortsatt be modellen om å sende ut tolkbare data: 3D-belegg, veigrenser, gjenstander, skilt, trafikklys osv. • Naturlig språkspørring: spør modellen hvorfor den tok en bestemt beslutning. • Disse hjelpespådommene driver ikke bilen, men hjelper ingeniører med å feilsøke og ivareta sikkerheten. Teslas avanserte gaussiske splatting (3D-scenemodellering): • Tesla utviklet et tilpasset, ultraraskt gaussisk splatting-system for å rekonstruere 3D-scener fra begrensede kameravisninger. • Produserer skarpe, nøyaktige 3D-gjengivelser selv fra få kameravinkler – langt bedre enn standard NeRF/splatting-tilnærminger. • Muliggjør rask visuell feilsøking av kjøremiljøet i 3D. Evaluering og verdensmodeller: • Evaluering er den vanskeligste utfordringen: modeller kan fungere bra offline, men mislykkes under virkelige forhold. • Tesla bygger balanserte, mangfoldige evalueringsdatasett med fokus på kanttilfeller – ikke bare enkel motorveikjøring. Introduserte en lært verdenssimulator (nevrale nettverksgenerert videomotor): • Kan simulere 8 Tesla-kamerafeeder samtidig – helsyntetisk. • Brukes til testing, trening og forsterkende læring. • Tillater injeksjon av kontradiktorisk hendelse (f.eks. å legge til en fotgjenger eller et kjøretøy som skjærer inn). • Gjør det mulig å spille av tidligere feil for å verifisere nye modellforbedringer. • Kan kjøres i nær sanntid, slik at testere kan "kjøre" inne i en simulert verden. Hva blir det neste: • Skaler robotaxi-tjenesten globalt. • Lås opp full autonomi på tvers av hele Tesla-flåten. • Cybercab: neste generasjons 2-seters kjøretøy designet spesielt for robotaxi-bruk, rettet mot laveste transportkostnader (billigere enn offentlig transport). • Samme nevrale nettverk vil drive Optimus humanoide robot. • Det samme videogenereringssystemet brukes nå på Optimus. • Systemet kan simulere og planlegge bevegelser for roboter, og tilpasser seg enkelt til nye former. via den internasjonale konferansen om datasyn (ICCV). Hele presentasjonen: