Ik ben pas net begonnen met het spelen ermee, maar het model lijkt tot nu toe geweldig. Maar het heeft ook enkele implementatie-idiosyncrasieën: - Een nieuw chatprotocol - Alleen beschikbaar in fp4-kwantisatie - Attention sink die de samengevoegde aandacht een beetje breekt Open modellen bewegen snel en ik vraag me af hoeveel tijd ik moet investeren in het ondersteunen van deze functies? Zal OpenAI meer modellen open source maken?
Awni Hannun
Awni Hannun6 aug, 12:43
OpenAI's nieuwe 120B MoE draait mooi in mlx-lm op een M3 Ultra. Het draaien van de 8-bit quant:
193