𝗧𝗿𝗮𝗰𝗸𝗶𝗻𝗴 𝗲𝘁 𝗱𝗲𝘁𝗲𝗰𝘁𝗶𝗼𝗻 𝗱'𝗼𝗯𝗷𝗲𝘁 𝗽𝗼𝘂𝗿 𝗹𝗲𝘀 𝗿𝗼𝗯𝗼𝘁𝘀 Dans la robotique, la détection d'objets est un instantané : « il y a une bouteille à (x, y) dans ce cadre. » Le suivi d'objets est la chose plus difficile et plus opérationnelle : « c'est la même bouteille que précédemment, elle a bougé comme ça, et elle est toujours là même si je ne la vois pas pendant 200 ms. » Imaginez un manipulateur mobile sur un plan de travail de cuisine. La tâche est simple sur le papier : prendre la bouteille bleue d'une table encombrée pendant qu'une personne se déplace à proximité. Le robot a une caméra (peut-être aussi une caméra de profondeur). Il exécute un détecteur d'objets et obtient une boîte englobante étiquetée « bouteille » avec un score de confiance. Cela ressemble à de la perception. Ce n'est pas encore le cas. Dans le cadre 1, le détecteur voit la bouteille. Dans le cadre 2, le bras de la personne l'occlut partiellement, la confiance diminue et la boîte disparaît. Dans le cadre 3, la bouteille réapparaît mais le détecteur déplace légèrement la boîte. Du point de vue du planificateur, la bouteille a clignoté hors de l'existence et s'est téléportée. Dans le désordre, vous obtenez également des doublons : le détecteur peut produire deux boîtes « bouteille » plausibles pour le même objet. Si le robot réagit directement aux détections par cadre, vous voyez des comportements d'échec classiques : ➤ il hésite parce que la cible est « manquante » tous les quelques cadres, ➤ il replanifie constamment parce que la position de la cible tremble, ➤ il atteint l'objet incorrect lorsque deux articles similaires apparaissent, ➤ il ne peut pas appliquer de manière fiable « ne pas entrer en collision avec la personne » parce que la boîte de la personne clignote aussi. C'est pourquoi la perception robotique ne s'arrête que rarement à la détection. Elle a besoin de permanence des objets : la capacité de dire « c'est toujours la même bouteille, même si je la perds de vue brièvement. » Le suivi est ce qui transforme les suppositions cadre par cadre en un modèle du monde stable. Une approche typique est le « suivi par détection » : vous exécutez toujours un détecteur à chaque cadre, mais vous attachez les détections à des pistes persistantes (IDs) au fil du temps en utilisant la prédiction + l'association. Concrètement, le suiveur fait trois choses : ➤ Prédire « où devrait être la bouteille maintenant ? » ➤ Associer « quelle détection appartient à quelle piste ? » ➤ Maintenir l'identité sous les changements Revenons à notre scène de table : une fois que vous suivez, la bouteille cesse de clignoter. Elle a un ID stable, une estimation de position lissée, et souvent une estimation de vitesse. Maintenant, le planificateur peut se comporter comme un adulte : il peut attendre un court changement d'environnement, s'engager sur une cible, et planifier une trajectoire sûre autour d'une personne en mouvement. Même avec le suivi, le robot ne sait toujours pas ce qu'il fait en termes humains. Il a « Suivi #7 » avec une boîte englobante et peut-être une étiquette de classe « bouteille. » Ce n'est pas suffisant pour des tâches réelles car les tâches réelles concernent les relations et l'intention : ➤ « Prenez la bouteille bleue (pas la transparente). » ➤ « Ne pas atteindre à travers la personne. » ➤ « La bouteille est derrière la tasse. » ➤ « Si la personne tend la main pour l'attraper, faites une pause. » C'est là que les LLM (souvent associés aux VLM) peuvent aider en raisonnant sur une représentation structurée de la scène construite à partir des pistes. La clé est que le LLM doit fonctionner dans un état stable. Si vous lui fournissez des détections brutes par cadre, vous obtiendrez un raisonnement faible car ses entrées clignotent. Le suivi rend la couche sémantique cohérente.

Où en est la robotique aujourd'hui ? La partie "résolue" de la robotique est l'automatisation industrielle dans des environnements contrôlés. Ce n'est pas parfait, mais c'est suffisamment mature pour se développer à l'échelle mondiale. La Fédération Internationale de Robotique a rapporté 4 281 585 robots industriels opérant dans des usines à travers le monde (World Robotics 2024). Et dans les statistiques de World Robotics 2025, l'IFR rapporte plus de 542k robots industriels installés en 2024, avec des installations annuelles dépassant les 500k pendant plus de 4 années consécutives. C'est l'"avantage de l'usine" : les tâches sont répétables, les environnements sont structurés, et les limites de sécurité peuvent être conçues. Quand un bras robotique soude ou place des composants, vous pouvez contraindre le monde jusqu'à ce que le robot ait l'air intelligent. La frontière est tout ce qui se trouve en dehors de cette zone de confort : robots mobiles dans des espaces encombrés, robotique de terrain, manipulation flexible (saisir des objets en désordre), et tout scénario où le robot doit raisonner sous incertitude pendant de longues périodes. Ici, la difficulté principale n'est pas "peut-il faire une démonstration". La difficulté principale est la fiabilité à grande échelle : peut-il effectuer la tâche en toute sécurité, de manière prévisible et économique des milliers de fois, y compris dans les 2 % de cas étranges. C'est aussi pourquoi la robotique est obsédée par la sécurité et les modes de défaillance. Un bug logiciel dans une application web est ennuyeux. Un bug logiciel dans une machine en mouvement devient cinétique. Cela pousse les équipes de robotique vers un déploiement conservateur : redondance, comportement d'arrêt sécurisé, déploiements progressifs et surveillance attentive. Cela explique également pourquoi les progrès physiques peuvent sembler plus lents que ceux du logiciel pur.

Les mempools chiffrés sont l'une des idées les plus intéressantes en matière de mitigation de l'MEV : cacher les détails des transactions jusqu'à ce qu'il soit trop tard pour les devancer. Si les validateurs (ou un comité de seuil) ne peuvent pas voir la charge utile, ils ne peuvent pas facilement : - copier un trade, - le sandwich, - vendre le flux d'ordres, - ou se positionner à l'avance autour de celui-ci. Dans ce cas, vous remplacez "tout le monde voit tout instantanément" par "la révélation se produit plus tard et doit être coordonnée." Les principaux coûts se manifestent sous forme de : ➤ latence / retard où certains designs nécessitent une phase de révélation, une fenêtre de déchiffrement ou des préconfirmations. Cela peut ajouter du temps avant la certitude d'exécution. ➤ risque de coordination où quelqu'un doit déchiffrer (un ensemble de validateurs, un comité ou un mécanisme). S'ils échouent, se bloquent ou s'entendent, l'expérience utilisateur se dégrade. ➤ nouveaux modes de défaillance où la gestion des clés, les hypothèses de disponibilité et "qui apprend quoi quand" deviennent partie intégrante de votre surface de protocole. Ainsi, les mempools chiffrés ne sont pas un repas gratuit, mais plutôt une décision consciente de payer un coût de coordination pour réduire la visibilité.