Mô hình Huawei openPangu-Ultra-MoE-718B Không sử dụng công nghệ Nvidia để xây dựng mô hình này - chỉ sử dụng chip AI Ascend, CANN không phải CUDA. "... được đào tạo từ đầu trên NPU Ascend, với tổng số tham số là 718B và 39B tham số được kích hoạt cho mỗi token. openPangu-Ultra-MoE-718B được đào tạo trên khoảng 19 triệu tỷ token, và được trang bị khả năng chuyển đổi giữa tư duy nhanh và chậm." Có vẻ như đây là một mô hình tiên tiến nhất nếu không muốn nói là mô hình mở tốt nhất hiện có. Liên kết bên dưới - bạn có thể tải xuống và sử dụng.
26,55K