Muitas pessoas estão confusas com o recente retorno do Minimax à atenção total - especialmente porque foi a primeira mudança em grande escala em direção à atenção linear híbrida - e pela adoção posterior de variantes lineares híbridas por Kimi (assim como tentativas anteriores do Qwen3-Next, ou Qwen3.5). Na verdade, aprecio a abertura do Minimax aqui: eles admitiram os desafios e arrependimentos da atenção linear híbrida ou da atenção de janela deslizante em tarefas de raciocínio multi-hop, o que não muitas laboratórios diriam em voz alta. Dito isso, os "arrependimentos" podem não ser tão ruins quanto parecem. O Minimax usou uma variante de atenção linear muito simples (em grande parte devido à avaliação insuficiente na época), então a diferença de desempenho foi provavelmente exagerada. A estratégia de pré-treinamento contínuo (ou seja, a mudança da atenção global para a atenção híbrida de janela deslizante) também parecia bastante subótima. E, até onde sei, a atenção linear híbrida ainda pode ter um desempenho muito forte em quase todos os benchmarks, exceto no raciocínio multi-hop. Se a queda de desempenho no raciocínio multi-hop puder ser mantida pequena o suficiente para trocar por melhor eficiência de inferência e eficiência de dados, a atenção linear híbrida ainda tem muito espaço para crescer. Camadas de complexidade linear melhores ainda valem a pena explorar, especialmente com a melhoria da infraestrutura de frameworks como vLLM e SGLang. Afinal, não queremos que nossos modelos agentes fiquem para sempre limitados pelo comprimento do contexto - essa é uma limitação que teremos que superar mais cedo ou mais tarde.