🔥 هذا يغير كل شيء عن الذكاء الاصطناعي طويل السياق. ورقة بحثية جديدة بعنوان "كل اهتمام مهم" أعادت بهدوء كيفية تعامل المحولات مع 128 ألف + رمز مميز. قام فريق Ling ببناء اهتمام هجين "خطي حلقي" يدمج Softmax مع Linear Attention. نتيجة؟ 10 أضعاف الاستدلال أرخص مع عدم وجود مقايضة دقة. ولكن هذا ما جعل فكي يسقط: + 50٪ كفاءة التدريب + 90٪ سرعة الاستدلال تحسين RL مستقر عبر التسلسلات الطويلة جدا لا يوجد هراء من تريليون معلمة. لا توجد أجهزة غريبة. مجرد بنية أكثر ذكاء. مستقبل الذكاء الاصطناعي ليس اهتماما أكبر. إنه اهتمام أكثر ذكاء.