Я тільки почав з ним грати, але модель поки що здається чудовою. Але він також має деякі особливості реалізації: - Новий протокол чату - Доступно лише в режимі квантування fp4 - Поглинання уваги, яке як би порушує зрощену увагу Відкриті моделі рухаються швидко, і я задаюся питанням, скільки часу потрібно інвестувати в підтримку цих функцій? Чи відкриє OpenAI більше моделей?
Awni Hannun
Awni Hannun6 серп., 12:43
Новий MoE 120B від OpenAI чудово працює в mlx-lm на M3 Ultra. Запуск 8-бітного кількісного пристрою:
186