Modelo Huawei openPangu-Ultra-MoE-718B Nenhuma tecnologia Nvidia foi utilizada para construir este modelo - apenas chips de IA Ascend, CANN e não CUDA. "... treinado do zero em NPU Ascend, com um total de 718B de parâmetros e 39B de parâmetros ativados por token. O openPangu-Ultra-MoE-718B é treinado em aproximadamente 19 trilhões de tokens e equipado com a capacidade de alternar entre pensamento rápido e lento." Parece ser um modelo de ponta, se não o melhor modelo aberto atualmente disponível. Link abaixo - você pode baixá-lo e usá-lo.
26,53K