Abia am început să mă joc cu el, dar modelul pare grozav până acum. Dar are și unele idiosincrazii de implementare: - Un nou protocol de chat - Disponibil numai în cuantificarea fp4 - Absorbția atenției care întrerupe atenția fuzionată Modelele deschise se mișcă rapid și mă întreb cât timp să investesc în susținerea acestor caracteristici? OpenAI va deschide mai multe modele?
Awni Hannun
Awni Hannun6 aug., 12:43
Noul MoE 120B de la OpenAI rulează frumos în mlx-lm pe un M3 Ultra. Rularea cuantității pe 8 biți:
196