Je viens juste de commencer à jouer avec, mais le modèle semble génial jusqu'à présent. Mais il a aussi quelques idiosyncrasies d'implémentation : - Un nouveau protocole de chat - Disponible uniquement en quantification fp4 - Un puits d'attention qui casse un peu l'attention fusionnée Les modèles ouverts évoluent rapidement et je me demande combien de temps investir pour soutenir ces fonctionnalités ? OpenAI va-t-il ouvrir davantage de modèles ?
Awni Hannun
Awni Hannun6 août, 12:43
Le nouveau MoE de 120B d'OpenAI fonctionne bien dans mlx-lm sur un M3 Ultra. Exécution du quant 8 bits :
189