Ajoelhe-se e leia o último artigo do deepseek () Vamos ter uma compreensão superficial, e todos vão corrigir o que está errado Este estudo (mHC) basicamente oferece uma solução de atualização de modelo "de baixo custo e alto retorno" para a indústria de IA. Efeito do Modelo: Melhora significativamente a "capacidade de pensamento" Mais inteligente: o mHC melhora significativamente o poder de processamento da IA sem alterar a infraestrutura do modelo. Em testes que refletem raciocínio lógico e compreensão de leitura, como BBH e DROP, o desempenho melhora de 2,1% para 2,3%. Isso significa que o modelo se comportará mais como um "especialista" do que como um "repetidor" ao lidar com tarefas como lógica de negócios complexa, análise financeira, etc. Custo do treinamento: perda de desempenho extremamente baixa em troca de alta lucratividade Custo-efetivo: Embora essa nova tecnologia aumente a largura de transmissão da informação, por meio de otimização colaborativa profunda em software e hardware, o custo de tempo para treinar um modelo grande com 27 bilhões de parâmetros aumenta apenas cerca de 6,7%. Para os investidores, isso significa trocar uma quantidade muito pequena de eletricidade e poder computacional adicional por um desempenho de modelo de ordem superior. Estabilidade no treinamento: Evite perdas de ativos causadas pelo "colapso do treinamento" e diga adeus às máquinas mortas: Embora tentativas semelhantes (como HC) também tenham tentado ampliar a rota da informação, devido à falta de restrições, modelos grandes frequentemente "enlouquecem" ou travam (saltos de perda) no meio do treinamento, resultando no desperdício de recursos computacionais preciosos. O mHC utiliza "feitiços de balanceamento" matemáticos (restrições de variedade) para garantir que o modelo seja extremamente robusto durante o treinamento, protegendo investimentos caros em poder de computação contra colapsos sistêmicos. Requisitos de memória: Soluções inteligentes para "gargalos de hardware" por meio de algoritmos Uso inteligente da memória: Essa tecnologia amplia a "faixa" de informações em 4 vezes, o que teoricamente consumirá muita memória. Mas o DeepSeek economiza muito espaço de memória com um pouco mais de tempo de computação por meio de uma técnica chamada "recálculo seletivo". Isso permite que placas de vídeo de alto desempenho existentes, como a H100/H200, rodem essa arquitetura mais complexa sem aumentar os custos de hardware. Potencial futuro: Quebrando o limite superior tradicional das "máquinas heap" Novos pontos de crescimento: Anteriormente, a melhoria dos efeitos dos modelos dependia principalmente de "heap data" e "heap GPU". O mHC abre um terceiro caminho: otimizar o esqueleto interno do modelo. Isso prova que, ao melhorar a conexão entre camadas, mais dividendos de desempenho podem ser continuamente extraídos mesmo que o tamanho do modelo não seja aumentado cegamente. Analogia do ponto de vista dos investidores: se o modelo grande é uma fábrica, então a atualização anterior foi aumentando o número de trabalhadores (aumentando os parâmetros). A mHC, por outro lado, reorganiza as linhas de montagem e os canais logísticos da fábrica sem aumentar o número de estações de trabalho. Ela não só alarga a esteira várias vezes para transportar mais peças, como também garante que a fábrica não interrompa a produção devido ao congestionamento logístico por meio de um sofisticado sistema de gerenciamento de tráfego. O resultado final é um aumento significativo na eficiência da planta, enquanto os custos de eletricidade e manutenção de equipamentos permanecem praticamente inalterados.

Após a materialização da perda, ela deve ser reconfigurada

Prepare-se para escrever um artigo longo Depois de assistir AI por muito tempo, a mais recente O artigo inteiro diz: Compre o Google $GOOG