Se ha publicado una nueva presentación de 30 minutos de @aelluswamy, vicepresidente de IA de Tesla, donde habla sobre FSD, IA y los últimos avances del equipo. Lo más destacado de la presentación: • La flota de vehículos de Tesla puede proporcionar 500 años de datos de conducción todos los días. Maldición de la dimensionalidad: • 8 cámaras a alta velocidad de fotogramas = miles de millones de tokens por cada 30 segundos de contexto de conducción. • Tesla debe comprimir y extraer las correlaciones correctas entre la entrada sensorial y las acciones de control. Ventaja de los datos: • Tesla tiene acceso a una "Cataratas del Niágara de datos": cientos de años de conducción colectiva de flotas. • Utiliza activadores de datos inteligentes para capturar casos raros (por ejemplo, intersecciones complejas, comportamiento impredecible). Calidad y eficiencia: • Extrae solo los datos esenciales necesarios para entrenar modelos de manera eficiente. Depuración e interpretabilidad: • Aunque el sistema es de extremo a extremo, Tesla aún puede solicitar al modelo que genere datos interpretables: Ocupación 3D, límites de carreteras, objetos, señales, semáforos, etc. • Consulta en lenguaje natural: pregunte al modelo por qué tomó una determinada decisión. • Estas predicciones auxiliares no impulsan el automóvil, pero ayudan a los ingenieros a depurar y garantizar la seguridad. Salpicado gaussiano avanzado de Tesla (modelado de escenas 3D): • Tesla desarrolló un sistema de salpicaduras gaussianas ultrarrápido y personalizado para reconstruir escenas 3D a partir de vistas de cámara limitadas. • Produce representaciones 3D nítidas y precisas incluso desde pocos ángulos de cámara, mucho mejor que los enfoques estándar de NeRF / salpicado. • Permite una rápida depuración visual del entorno de conducción en 3D. Evaluación y modelos mundiales: • La evaluación es el desafío más difícil: los modelos pueden funcionar bien fuera de línea pero fallar en condiciones del mundo real. • Tesla crea conjuntos de datos de evaluación equilibrados y diversos que se centran en casos extremos, no solo en la conducción fácil en carretera. Se introdujo un simulador de mundo aprendido (motor de video generado por redes neuronales): • Puede simular 8 transmisiones de cámara Tesla simultáneamente, totalmente sintéticas. • Se utiliza para pruebas, capacitación y aprendizaje por refuerzo. • Permite la inyección de eventos adversarios (por ejemplo, agregar un peatón o un vehículo que se interviene). • Permite reproducir fallas pasadas para verificar las mejoras del nuevo modelo. • Puede ejecutarse casi en tiempo real, lo que permite a los evaluadores "conducir" dentro de un mundo simulado. Lo que sigue: • Escalar el servicio de robotaxi a nivel mundial. • Desbloquea la autonomía total en toda la flota de Tesla. • Cybercab: vehículo de 2 asientos de próxima generación diseñado específicamente para uso de robotaxi, con el objetivo de reducir el costo de transporte (más barato que el transporte público). • Las mismas redes neuronales impulsarán el robot humanoide Optimus. • El mismo sistema de generación de video ahora se aplica a Optimus. • El sistema puede simular y planificar el movimiento de los robots, adaptándose fácilmente a las nuevas formas. a través de la Conferencia Internacional sobre Visión por Computador (ICCV). Presentación completa: