Noul MoE 120B de la OpenAI rulează frumos în mlx-lm pe un M3 Ultra. Rularea cuantității pe 8 biți:
38,47K