Новий MoE 120B від OpenAI чудово працює в mlx-lm на M3 Ultra. Запуск 8-бітного кількісного пристрою:
38,46K