テスラの AI 担当副社長である @aelluswamy 氏による新しい 30 分間のプレゼンテーションが公開され、FSD、AI、チームの最新の進捗状況について語ります。 プレゼンテーションのハイライト: • テスラの車両フリートは、毎日 500 年分の運転データを提供できます。 次元の呪い: • 高フレームレートの 8 台のカメラ = 30 秒の運転コンテキストあたり数十億のトークン。 • テスラは、感覚入力と制御アクションの間の適切な相関関係を圧縮して抽出する必要があります。 データの利点: • テスラは「ナイアガラの滝のデータ」、つまり何百年にもわたる集団車両運転にアクセスできます。 • スマート データ トリガーを使用して、まれなコーナー ケース (複雑な交差点、予測不可能な動作など) をキャプチャします。 品質と効率: • モデルを効率的にトレーニングするために必要な重要なデータのみを抽出します。 デバッグと解釈可能性: • システムがエンドツーエンドであっても、Tesla はモデルに解釈可能なデータを出力するように求めることができます。 3D占有、道路境界、オブジェクト、標識、信号機など。 • 自然言語クエリ: モデルが特定の決定を下した理由を尋ねます。 • これらの補助予測は車を駆動しませんが、エンジニアのデバッグと安全性の確保に役立ちます。 テスラの高度なガウススプラッティング(3Dシーンモデリング): • テスラは、限られたカメラビューから3Dシーンを再構築するためのカスタムの超高速ガウススプラッティングシステムを開発しました。 • 少数のカメラアングルからでも鮮明で正確な3Dレンダリングを生成し、標準的なNeRF/スプラッティングアプローチよりもはるかに優れています。 - 3Dでの運転環境の迅速な視覚的デバッグを可能にします。 評価とワールドモデル: • 評価は最も難しい課題です:モデルはオフラインではうまく機能しても、実際の条件では失敗する可能性があります。 • テスラは、高速道路での簡単な運転だけでなく、エッジケースに焦点を当てたバランスのとれた多様な評価データセットを構築しています。 学習世界シミュレータ(ニューラルネットワーク生成ビデオエンジン)を導入: - 8つのテスラカメラフィードを同時にシミュレート可能 - 完全合成。 • テスト、トレーニング、強化学習に使用されます。 • 敵対的なイベントの挿入(歩行者や車両の割り込みなど)を可能にします。 • 過去の失敗を再生して、新しいモデルの改善を検証できます。 • ほぼリアルタイムで実行できるため、テスターはシミュレートされた世界内で「運転」できます。 次のステップ: • ロボタクシー サービスをグローバルに拡大します。 • テスラフリート全体で完全な自律性を解放します。 • サイバーキャブ: ロボタクシー専用に設計された次世代 2 人乗り車両で、輸送コストを最小限に抑えます (公共交通機関よりも安価)。 • 同じニューラルネットワークがオプティマスヒューマノイドロボットに電力を供給します。 • 同じビデオ生成システムが Optimus にも適用されています。 - ロボットの動きをシミュレートして計画し、新しい形状に簡単に適応できます。 コンピュータビジョンに関する国際会議(ICCV)を通じて。 プレゼンテーション全文: