Chúa ơi... điều này có thể là sự thay đổi lớn tiếp theo trong AI. 🤯 Tencent + Tsinghua vừa phát hành một tài liệu có tên là Mô Hình Ngôn Ngữ Tự Động Liên Tục (CALM) và nó cơ bản tiêu diệt mô hình "dự đoán từ tiếp theo" mà mọi LLM đều dựa vào. Thay vì dự đoán một từ tại một thời điểm, CALM dự đoán các vector liên tục đại diện cho nhiều từ cùng một lúc. Có nghĩa là: mô hình không nghĩ "từng từ một"… nó nghĩ theo ý tưởng cho mỗi bước. Đây là lý do tại sao điều đó điên rồ 👇 → 4× ít bước dự đoán hơn (mỗi vector = ~4 từ) → Giảm 44% tính toán huấn luyện → Không có từ vựng rời rạc, lý luận hoàn toàn liên tục → Chỉ số mới (BrierLM) thay thế hoàn toàn độ khó Họ thậm chí đã xây dựng một transformer dựa trên năng lượng mới mà học mà không cần softmax, không cần lấy mẫu từ, không có giới hạn từ vựng. Nó giống như việc chuyển từ nói mã Morse… sang phát trực tiếp những suy nghĩ đầy đủ. Nếu điều này mở rộng, mọi LLM hiện tại sẽ trở nên lỗi thời.