أي شخص جرب هذا المفكر الوكيل LLM من ByteDance؟ 👀 أم أن الضجيج حول النماذج الصينية مفتوحة المصدر قد توقف؟ 36B نماذج التوجيه والقائمة (حتى القاعدة بدون بيانات تركيبية) مع بعض المقاعد 🤔 الرائعة (SOTA؟) سنغطي غدا في @thursdai_pod
𝚐𝔪𝟾𝚡𝚡𝟾
𝚐𝔪𝟾𝚡𝚡𝟾‏21 أغسطس، 04:02
تطلق ByteDance Seed-OSS (Apache-2.0): سلسلة LLM المفتوحة (رموز 12T) محسنة ل 512K ctx ، والتفكير ، ومهام الوكيل ، i18n (الاستخدام الدولي). يتضمن الإصدار Seed-OSS-36B-Base (بدون بيانات تركيبية) و Seed-OSS-36B-Instruct - القوس: 36B params ، 64L ، مخفي 5120 ، vocab 155K ، GQA (80/8/8 ، رأس 128) ، SwiGLU ، RMSNorm ، قاعدة RoPE 1e7 - ميزانية التفكير: التحكم في طول التفكير (مضاعفات 512) ، التأمل الذاتي CoT ، 0 = الإجابات المباشرة ، الافتراضي = غير محدود 36B-Base (مع w / مقابل w / o syn.) - MMLU-Pro 65.1 / 60.4 | MMLU 84.9 / 84.8 | معلومات تافهة QA 82.1 / 81.9 | جيبكاء - د 31.7 / 35.2 - BBH 87.7 / 87.2 | AGIEval-en 70.7 / 70.1 - GSM8K 90.8 / 90.3 | الرياضيات 81.7 SOTA / 61.3 - ميجابت في الطب 80.6 / 74.6 | هيومانإيفال 76.8 / 75.6 36 ب - التعليمات - MMLU-Pro 82.7 | MMLU 87.4 | جي بي كيو - د 71.4 | سوبر جيبكيا 55.7 - AIME24 91.7 SOTA | AIME25 84.7 | ما بعدAIME 65 - ArcAGI V2 40.6 | كوربنش 70.6 - LiveCodeBench v6 67.4 SOTA | هيل 10.1 - IFEval 85.8 | TAU1-التجزئة 70.4 SOTA | TAU1 - الخطوط الجوية 46 - SWE-Bench تم التحقق منه 56 SOTA | متعدد SWE-مقعد 17 - MMMLU 78.4 | مسطرة (128 قيراط) 94.6 SOTA | مقعد هوائي 75.6 الاستدلال: المحولات ، vLLM (≥0.10.0) ، FlashAttention2 ، التكميم 4/8 بت
‏‎164‏