我刚开始玩这个,但到目前为止模型似乎很不错。 但它也有一些实现上的特性: - 一种新的聊天协议 - 仅在fp4量化中可用 - 注意力汇聚,这在某种程度上破坏了融合注意力 开放模型发展迅速,我想知道在支持这些功能上应该投入多少时间?OpenAI会开源更多模型吗?
Awni Hannun
Awni Hannun8月6日 12:43
OpenAI的新120B MoE在M3 Ultra上的mlx-lm运行良好。 运行8位量化:
190