Deixe-me pintar o quadro. Digamos que você queira que um humanóide cozinhe um jantar delicioso enquanto você se senta no sofá e assiste à Netflix. Como isso funcionaria em um nível técnico, já que o Humanóide requer vários cérebros para fazer o seu jantar? A inteligência do robô não é monolítica, mas uma equipe de módulos de IA que combinam deliberação lenta com reflexos rápidos (design do Sistema 2 + Sistema 1). Seu modelo de visão-linguagem-ação (VLA) divide a cognição em um módulo de raciocínio e uma política de controle reativo. Como o robô está rodando em uma arquitetura cognitiva multicerebral, ele acionaria um operador "chef" dedicado para lidar com sua solicitação, como inspecionar a cozinha com suas câmeras, procurar uma receita e direcionar seus membros para começar a cortar vegetais. Esses cérebros podem ser divididos nos seguintes operadores. Cérebro # 1: Para preparar um jantar delicioso, você precisa de um planejador executivo. Ele interpreta seu comando ("preparar o jantar") para determinar o objetivo (fazer macarrão). Usando a compreensão de linguagem natural, ele decide quais subtarefas são necessárias (encontrar ingredientes, cozinhar macarrão, pôr a mesa etc.) e quais outros cérebros devem lidar com cada uma. Coordena o sistema multiagente: ativando módulos especializados para visão, conhecimento e movimento. Este cérebro deliberativo (sistema 2) toma decisões de alto nível, estabelece a abordagem e aloca responsabilidades antes que qualquer movimento físico comece. Cérebro #2: Agora que você tem a receita, precisará de alguns olhos de robô e consciência espacial. Ele processa feeds de câmera para identificar ingredientes, ferramentas e suas localizações na cozinha. Usando visão computacional avançada, ele vê a tábua de cortar, os vegetais na geladeira, a faca no balcão, etc. Ele constrói um mapa 3D do ambiente e rastreia objetos relevantes (como onde estão o sal ou as panelas). Esse cérebro perceptivo (Sistema 2) funciona mais devagar que os reflexos, mas fornece um contexto de cena preciso para o planejamento. Ao reconhecer todas as peças envolvidas, ele educa o robô no mundo real. Cérebro #3: Este cérebro atua como a base de conhecimento e memória do robô (Sistema 2). Ele recupera e analisa as informações necessárias para a tarefa, neste caso, uma receita adequada e instruções de cozimento. Ele pode consultar um livro de receitas on-line ou seu banco de dados interno para obter uma receita de macarrão e, em seguida, interpretar as etapas (ferver água, picar alho, etc.). Ele lembra fatos sobre a cozinha (como onde os temperos são mantidos) e experiências culinárias anteriores. Essencialmente, fornecendo compreensão semântica e conhecimento de mundo. Em seguida, calcula instruções abstratas (caramelizar as cebolas) em parâmetros concretos (temperatura, tempo) que o robô pode executar, garantindo que o plano esteja alinhado com suas preferências. Cérebro #4: Com o objetivo e o ambiente esclarecidos, elaboramos um plano de jogo detalhado. Ele divide a meta de alto nível em ações ordenadas e etapas condicionais. Ele agenda tarefas (às vezes em paralelo, como pré-aquecer o forno enquanto corta legumes) e define marcos (água fervida, molho pronto). Ele também rastreia o progresso e pode replanejar em tempo real se algo mudar (digamos que um ingrediente esteja faltando). Em seguida, ele entrega essa sequência de ação aos cérebros de nível de movimento para execução. Outro cérebro do Sistema 2. Cérebro #5: Hora de passar da arquitetura do Sistema 2 e passar para o Sistema 1, traduzindo o plano em movimentos concretos do robô. Para cada ação (como "caminhar até a geladeira" ou "cortar cenouras"), ela gera trajetórias aplicáveis para o corpo e os membros do robô. Este módulo lida com o planejamento de caminho e cinemática inversa, calculando caminhos e ângulos de junta para que o robô se mova suavemente sem colisões. Ele normalmente aplica políticas motoras aprendidas (como uma política de transformador de difusão) para produzir movimentos fluidos para tarefas complexas. Se o Cérebro 4 diz para pegar uma panela da geladeira, o Cérebro 5 descobre como levar o robô até lá e como agarrar a panela. Onde coordena vários membros quando necessário (usando as duas mãos para levantar um pote pesado, por exemplo). A intenção de alto nível se transforma em uma convergência de hardware e software se movendo em movimento Cérebro #6: Uma vez que um plano de movimento é definido, é hora de executar. Este cérebro de controle do Sistema 1 de baixo nível aciona os atuadores do robô (motores e articulações). Ele lê continuamente os sensores (ângulos das articulações, força, equilíbrio) e envia sinais de controle para seguir a trajetória. Usando loops de controle (controladores PID, controle preditivo de modelo, etc.) para manter a precisão, se o robô começar a tombar ou uma faca sair do curso, ele corrige instantaneamente. Estes são os reflexos e habilidades motoras finas operando a velocidades de milissegundos. À medida que o robô corta uma cenoura, o Brain 6 modula a força e ajusta o ângulo da lâmina para obter fatias uniformes sem escorregar. É como a "memória muscular" subconsciente do sistema, lidando com detalhes de baixo nível automaticamente. Cérebro #7: A peça final é focar na melhoria contínua. Durante e após a preparação do jantar, ele analisa o desempenho. Derramou alguma coisa? Foi muito lento para mexer? Este módulo usa aprendizado por reforço e autocalibração para atualizar os modelos do robô ao longo do tempo. As principais habilidades do robô foram inicialmente treinadas em demonstrações humanas massivas e tentativa e erro, mas você precisa ajustá-las continuamente. Se descobrir uma técnica de corte em cubos mais eficiente ou uma melhor pegada de espátula, atualiza sua política para que o próximo jantar seja ainda mais tranquilo. Esse cérebro adaptativo permite que o humanóide se torne mais habilidoso com a experiência. Codec: Operadores em ação Como a arquitetura do Codec une esses cérebros? Cada "cérebro" é executado como um módulo Operador separado no sistema de IA do robô. A orquestração do Codec Fabric fornece a cada operador seu próprio ambiente seguro e em sandbox. Ou seja, o módulo de visão, o módulo de linguagem/lógica, o módulo de planejamento, etc., são executados isoladamente, mas se comunicam por meio de interfaces definidas. Se um módulo travar ou tiver erros, ele não derrubará todo o robô, os outros continuarão funcionando com segurança. Esse design modular também facilita a atualização ou troca de um cérebro sem afetar o resto e a adição de novos operadores especializados conforme necessário. Essa abordagem de operador suporta diretamente a estrutura multicérebro. Quando você pede o jantar, o cérebro executivo do robô (Cérebro 1) pode criar um operador "chef" dedicado a essa tarefa, enquanto outros operadores lidam com a percepção e o controle em paralelo. Cada operador só tem acesso aos recursos de que precisa (por exemplo, o agente de receitas pode ter acesso à Internet para buscar instruções, enquanto o agente de controle faz interface apenas com o hardware), o que melhora a segurança. O design modular e sandbox do Codec é a cola para todas essas diversas habilidades trabalhando juntas, semelhantes aos microsserviços em software, permitindo que o humanóide lide de forma confiável com tarefas complexas, como preparar o jantar do zero. É por isso que $CODEC será a principal infraestrutura para a robótica.
Trissy
Trissy23 de ago. de 2025
You’ll see foundation models for Humanoids continually using a System 2 + System 1 style architecture which is actually inspired by human cognition. Most vision-language-action (VLA) models today are built as centralized multimodal systems that handle perception, language, and action within a single network. Codec’s infrastructure is perfect for this as it treats each Operator as a sandboxed module. Meaning you can spin up multiple Operators in parallel, each running its own model or task, while keeping them encapsulated and coordinated through the same architecture. Robots and Humanoids in general typically have multiple brains, where one Operator might handle vision processing, another handling balance, another doing high level planning etc, which can all be coordinated through Codec’s system. Nvidia’s foundation model Issac GR00T N1 uses the two module System 2 + System 1 architecture. System 2 is a vision-language model (a version of PaLM or similar, multimodal) that observes the world through the robot’s cameras and listens to instructions, then makes a high level plan. System 1 is a diffusion transformer policy that takes that plan and turns it into continuous motions in real time. You can think of System 2 as the deliberative brain and System 1 as the instinctual body controller. System 2 might output something like “move to the red cup, grasp it, then place it on the shelf,” and System 1 will generate the detailed joint trajectories for the legs and arms to execute each step smoothly. System 1 was trained on tons of trajectory data (including human teleoperated demos and physics simulated data) to master fine motions, while System 2 was built on a transformer with internet pretraining (for semantic understanding). This separation of reasoning vs. acting is very powerful for NVIDIA. It means GR00T can handle long horizon tasks that require planning (thanks to System 2) and also react instantly to perturbations (thanks to System 1). If a robot is carrying a tray and someone nudges the tray, System 1 can correct the balance immediately rather than waiting for the slower System 2 to notice. GR00T N1 was one of the first openly available robotics foundation models, and it quickly gained traction. Out of the box, it demonstrated skill across many tasks in simulation, it could grasp and move objects with one hand or two, hand items between its hands, and perform multi step chores without any task specific programming. Because it wasn’t tied to a single embodiment, developers showed it working on different robots with minimal adjustments. This is also true for Helix (Figure’s foundation model) which uses this type of architecture. Helix allows for two robots or multiple skills to operate, Codec could enable a multi agent brain by running several Operators that share information. This “isolated pod” design means each component can be specialized (just like System 1 vs System 2) and even developed by different teams, yet they can work together. It’s a one of a kind approach in the sense that Codec is building the deep software stack to support this modular, distributed intelligence, whereas most others only focus on the AI model itself. Codec also leverages large pre trained models. If you’re building a robot application on it, you might plug in an OpenVLA or a Pi Zero foundation model as part of your Operator. Codec provides the connectors, easy access to camera feeds or robot APIs, so you don’t have to write the low level code to get images from a robot’s camera or to send velocity commands to its motors. It’s all abstracted behind a high level SDK. One of the reasons I’m so bullish on Codec is exactly what I outlined above. They’re not chasing narratives, the architecture is built to be the glue between foundation models, and it frictionlessly supports multi brain systems, which is critical for humanoid complexity. Because we’re so early in this trend, it’s worth studying the designs of industry leaders and understanding why they work. Robotics is hard to grasp given the layers across hardware and software, but once you learn to break each section down piece by piece, it becomes far easier to digest. It might feel like a waste of time now, but this is the same method that gave me a head start during AI szn and why I was early on so many projects. Become disciplined and learn which components can co exist and which components don’t scale. It’ll pay dividends over the coming months. Deca Trillions ( $CODEC ) coded.
8,94K