我剛開始玩這個,但到目前為止模型似乎很不錯。 但它也有一些實現上的特性: - 一種新的聊天協議 - 僅在fp4量化中可用 - 注意力匯聚,這在某種程度上破壞了融合注意力 開放模型發展迅速,我想知道在支持這些功能上應該投入多少時間?OpenAI會開源更多模型嗎?
Awni Hannun
Awni Hannun8月6日 12:43
OpenAI的新120B MoE在M3 Ultra上的mlx-lm運行良好。 運行8位量化:
157