Я только начал с этим работать, но модель пока что кажется отличной. Но у нее также есть некоторые особенности реализации: - Новый протокол чата - Доступна только в квантовании fp4 - Внимание sink, которое немного нарушает объединенное внимание Открытые модели развиваются быстро, и мне интересно, сколько времени стоит инвестировать в поддержку этих функций? Откроет ли OpenAI больше моделей с открытым исходным кодом?
Awni Hannun
Awni Hannun6 авг., 12:43
Новая 120B MoE от OpenAI хорошо работает в mlx-lm на M3 Ultra. Запуск 8-битного кванта:
197