Saya baru saja mulai bermain dengannya, tetapi modelnya tampak bagus sejauh ini. Tetapi ia juga memiliki beberapa keistimewaan implementasi: - Protokol obrolan baru - Hanya tersedia dalam kuantisasi fp4 - Perhatian tenggelam yang mematahkan perhatian yang menyatu Model terbuka bergerak cepat dan saya bertanya-tanya berapa banyak waktu yang harus diinvestasikan dalam mendukung fitur-fitur ini? Akankah OpenAI open source lebih banyak model?
Awni Hannun
Awni Hannun6 Agu, 12.43
MoE 120B baru OpenAI berjalan dengan baik di mlx-lm pada M3 Ultra. Menjalankan kuantitas 8-bit:
180