Se han creado muchos sistemas de cámaras locas con el propósito de capturar video espacial completo. Recuerdo una conversación en Meta que básicamente decía "vamos a centrarnos lo más posible en la visión por computadora geométrica clásica antes de mirar los algoritmos de aprendizaje automático", y apoyé esa dirección. Eso fue hace muchos años, cuando el aprendizaje automático aún se sentía como una alquimia impredecible, y por supuesto, ¡quieres maximizar tu uso de la verdad fundamental! Se dedicó un gran esfuerzo de ingeniería a la calibración de cámaras, sincronización y procesamiento de datos, pero nunca realmente cumplió con la visión. No importa cuántas cámaras tengas, cualquier objeto en movimiento complejo tendrá áreas ocluidas, y los "agujeros en la realidad" destacan de manera notable para un espectador que no está exactamente en uno de los puntos de la cámara. Incluso cuando tienes buena visibilidad, las ambigüedades en la fotogrametría de múltiples cámaras hacen que las cosas sean menos precisas de lo que te gustaría. También hubo algunos experimentos para ver qué tan buena podía ser la reconstrucción de escenas 3D a partir de las cámaras Quest utilizando computación offline, y la respuesta seguía siendo "no muy buena", con superficies bastante irregulares. Muchas reconstrucciones 3D se ven increíbles al desplazarse en el feed de tu teléfono, pero no tan bien ampliadas a una representación VR completamente inmersiva y contrastadas con una foto tradicional de alta calidad. Realmente necesitas fuertes priors para impulsar el problema de ajuste y llenar los huecos de cobertura. Para escenas arquitectónicas, puedes obtener algo de rendimiento de priors planos simples, pero la IA generativa moderna es el prior definitivo. Incluso si los locos sistemas de cámaras cumplieran completamente con la promesa, aún no habrían permitido un buen ecosistema de contenido. YouTube no habría tenido éxito si cada creador necesitara una cámara RED Digital Cinema. La generación de fotos 3D estereoscópicas (¡bastante buena!) en Quest Instagram es un primer paso hacia el futuro. Hay caminos hacia video estereoscópico y 6DOF estático, y eventualmente hacia video 6DOF. Haz que todo sea inmersivo, luego permite la sintonización personalizada de medios conscientes de la inmersión.