Dopiero zacząłem się bawić tym, ale model wydaje się świetny jak na razie. Ale ma też pewne specyficzne cechy implementacyjne: - Nowy protokół czatu - Dostępny tylko w kwantyzacji fp4 - Zbiornik uwagi, który trochę psuje zintegrowaną uwagę Otwarte modele rozwijają się szybko i zastanawiam się, ile czasu zainwestować w wsparcie tych funkcji? Czy OpenAI udostępni więcej modeli jako open source?
Awni Hannun
Awni Hannun6 sie, 12:43
Nowy model MoE OpenAI o pojemności 120B działa płynnie w mlx-lm na M3 Ultra. Uruchamianie kwantyzacji 8-bitowej:
188