En ny 30 minuter lång presentation från @aelluswamy, Teslas VP of AI, har släppts, där han pratar om FSD, AI och teamets senaste framsteg. Höjdpunkt från presentationen: • Teslas fordonsflotta kan tillhandahålla 500 år av kördata varje dag. Dimensionalitetens förbannelse: • 8 kameror med hög bildfrekvens = miljarder tokens per 30 sekunders körkontext. • Tesla måste komprimera och extrahera de rätta korrelationerna mellan sensorisk input och kontrollåtgärder. Fördel med data: • Tesla har tillgång till ett "Niagarafallen av data" – hundratals års kollektiv körning i fordonsflottor. • Använder smarta datautlösare för att fånga sällsynta hörnfall (t.ex. komplexa korsningar, oförutsägbart beteende). Kvalitet och effektivitet: • Extraherar endast de viktiga data som behövs för att träna modeller effektivt. Felsökning och tolkning: • Även om systemet är end-to-end kan Tesla fortfarande uppmana modellen att mata ut tolkningsbara data: 3D-beläggning, väggränser, objekt, skyltar, trafikljus etc. • Frågor på naturligt språk: fråga modellen varför den fattade ett visst beslut. • Dessa hjälpförutsägelser driver inte bilen men hjälper ingenjörer att felsöka och garantera säkerheten. Teslas avancerade Gaussiska splatting (3D-scenmodellering): • Tesla utvecklade ett anpassat, ultrasnabbt Gaussiskt splatting-system för att rekonstruera 3D-scener från begränsade kameravyer. • Ger skarpa, exakta 3D-renderingar även från få kameravinklar – mycket bättre än vanliga NeRF/splatting-metoder. • Möjliggör snabb visuell felsökning av körmiljön i 3D. Utvärdering och Världsmodeller: • Utvärdering är den svåraste utmaningen: modeller kan prestera bra offline men misslyckas under verkliga förhållanden. • Tesla bygger balanserade, mångsidiga utvärderingsdatauppsättningar med fokus på gränsfall – inte bara enkel motorvägskörning. Introducerade en lärd världssimulator (neural network-generated video engine): • Kan simulera 8 Tesla-kameraflöden samtidigt – helt syntetisk. • Används för testning, träning och förstärkningsinlärning. • Tillåter insprutning av kontradiktoriska händelser (t.ex. att lägga till en fotgängare eller ett fordon som skär in). • Gör det möjligt att spela upp tidigare misslyckanden för att verifiera nya modellförbättringar. • Kan köras nästan i realtid, vilket gör att testare kan "köra" i en simulerad värld. Vad kommer härnäst: • Skala robotaxi-tjänsten globalt. • Lås upp full autonomi i hela Teslas flotta. • Cybercab: nästa generations 2-sitsiga fordon som är särskilt utformat för robotaxi-användning, med lägsta transportkostnad (billigare än kollektivtrafik). • Samma neurala nätverk kommer att driva den humanoida roboten Optimus. • Samma videogenereringssystem tillämpas nu på Optimus. • Systemet kan simulera och planera rörelser för robotar och enkelt anpassa sig till nya former. via den internationella konferensen om datorseende (ICCV). Fullständig presentation: