Mô hình MoE 120B mới của OpenAI hoạt động tốt trong mlx-lm trên M3 Ultra. Chạy với độ lượng tử 8-bit:
38,46K