Teprve jsem si s ním začal hrát, ale model se mi zatím zdá skvělý. Má však také některé implementační zvláštnosti: - Nový chatovací protokol - K dispozici pouze v kvantizaci fp4 - Umyvadlo pozornosti, které tak trochu rozbíjí srostlou pozornost Otevřené modely se pohybují rychle a zajímalo by mě, kolik času investovat do podpory těchto funkcí? Bude OpenAI open source více modelů?
Awni Hannun
Awni Hannun6. 8. 12:43
Nové 120B MoE od OpenAI běží pěkně v mlx-lm na M3 Ultra. Spuštění 8-bitového kvanta:
148