Modelo Huawei openPangu-Ultra-MoE-718B No se utilizó tecnología de Nvidia para construir este modelo, solo chips de IA Ascend, CANN no CUDA. "... entrenado desde cero en NPU Ascend, con un total de 718B de parámetros y 39B de parámetros activados por token. El openPangu-Ultra-MoE-718B se entrena en aproximadamente 19 billones de tokens y está equipado con la capacidad de alternar entre pensamiento rápido y lento." Parece ser un modelo de última generación, si no el mejor modelo abierto disponible actualmente. Enlace a continuación - puedes descargarlo y usarlo.
26.54K