OpenAI的新120B MoE在M3 Ultra上的mlx-lm運行良好。 運行8位量化:
38.45K