Tôi chỉ mới bắt đầu chơi với nó, nhưng mô hình có vẻ tuyệt vời cho đến nay. Nhưng nó cũng có một số đặc điểm riêng trong việc triển khai: - Một giao thức trò chuyện mới - Chỉ có sẵn trong định lượng fp4 - Attention sink, điều này làm hỏng attention kết hợp Các mô hình mở phát triển nhanh và tôi tự hỏi có nên đầu tư bao nhiêu thời gian để hỗ trợ những tính năng này? Liệu OpenAI có mở mã nguồn thêm nhiều mô hình nữa không?
Awni Hannun
Awni Hannun12:43 6 thg 8
Mô hình MoE 120B mới của OpenAI hoạt động tốt trong mlx-lm trên M3 Ultra. Chạy với độ lượng tử 8-bit:
191