Acabo de empezar a jugar con él, pero el modelo parece genial hasta ahora. Pero también tiene algunas idiosincrasias de implementación: - Un nuevo protocolo de chat - Solo disponible en cuantificación fp4 - Hundimiento de atención que rompe la atención fusionada Los modelos abiertos se mueven rápido y me pregunto cuánto tiempo invertir en admitir estas funciones. ¿OpenAI abrirá más modelos de código abierto?
Awni Hannun
Awni Hannun6 ago, 12:43
El nuevo MoE 120B de OpenAI funciona muy bien en mlx-lm en un M3 Ultra. Ejecución del cuanto de 8 bits:
185