Huawei openPangu-Ultra-MoE-718B-модель Для создания этой модели не использовалась технология Nvidia - только чипы Ascend AI, CANN, а не CUDA. "... обучена с нуля на Ascend NPU, с общим количеством параметров 718B и 39B активированных параметров на токен. openPangu-Ultra-MoE-718B обучена на примерно 19 триллионах токенов и оснащена возможностью переключения между быстрым и медленным мышлением." Похоже, это модель последнего поколения, если не лучшая открытая модель, доступная в настоящее время. Ссылка ниже - вы можете скачать ее и использовать.
26,53K