El nuevo MoE de 120B de OpenAI funciona bien en mlx-lm en un M3 Ultra. Ejecutando el cuantificador de 8 bits:
38,47K