Truque louco que descobri. Câmera de distância focal fixa para SLAM, então o campo próximo está desfocado. Mas eu preciso rastrear um fiducial. Aparentemente, você pode rodar um filtro! Note as linhas nítidas no fiducial do campo próximo. A câmera está realmente apontada para a segunda imagem!

O filtro que precisas de executar é realmente sensível ao tamanho físico da etiqueta e a todas as intrínsecas da câmara. Provavelmente, vou manter o autofocus ligado por agora para o rastrear, mas isto será uma boa otimização mais tarde.