遊び始めたばかりですが、今のところモデルは素晴らしいようです。 しかし、実装上の特異性もいくつかあります。 - 新しいチャットプロトコル - fp4量子化でのみ利用可能 - 融合した注意を壊すような注意の流し オープンモデルは動きが速いので、これらの機能のサポートにどれくらいの時間を投資すればよいのでしょうか?OpenAIはより多くのモデルをオープンソース化しますか?
Awni Hannun
Awni Hannun8月6日 12:43
OpenAI の新しい 120B MoE は、M3 Ultra の mlx-lm で適切に動作します。 8ビットクオンツの実行:
184