Huawei openPangu-Ultra-MoE-718B-modelo Nenhuma tecnologia da Nvidia usada para construir este modelo - apenas chips Ascend AI, CANN e não CUDA. "... treinado do zero no Ascend NPU, com uma contagem total de parâmetros de 718B e 39B parâmetros ativados por token. O openPangu-Ultra-MoE-718B é treinado em aproximadamente 19 trilhões de tokens e equipado com a capacidade de alternar entre o pensamento rápido e lento." Parece ser um modelo de última geração, se não o melhor modelo aberto atualmente disponível. Link abaixo - você pode baixá-lo e usá-lo
26,55K