Актуальные темы
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Кто-нибудь пробовал этот агентный мыслитель LLM от ByteDance? 👀
Или же ажиотаж вокруг открытых китайских моделей спал?
36B Инструктивные и Базовые модели (даже базовые без синтетических данных) с отличными (SOTA?) показателями 🤔
Завтра мы обсудим это в @thursdai_pod
21 авг., 04:02
ByteDance выпускает Seed-OSS (Apache-2.0): открытая серия LLM (12T токенов), оптимизированная для 512K контекста, рассуждений, задач агентов, i18n (международное использование). Выпуск включает Seed-OSS-36B-Base (с синтетическими данными и без) и Seed-OSS-36B-Instruct
- Архитектура: 36B параметров, 64 уровня, скрытый 5120, словарь 155K, GQA (80/8/8, голова 128), SwiGLU, RMSNorm, RoPE базовый 1e7
- Бюджет мышления: Контроль длины рассуждений (кратные 512), CoT саморефлексия, 0 = прямые ответы, по умолчанию = неограниченно
36B-Base (с синтетическими данными и без)
- MMLU-Pro 65.1 / 60.4 | MMLU 84.9 / 84.8 | TriviaQA 82.1 / 81.9 | GPQA-D 31.7 / 35.2
- BBH 87.7 / 87.2 | AGIEval-en 70.7 / 70.1
- GSM8K 90.8 / 90.3 | MATH 81.7 SOTA / 61.3
- MBPP 80.6 / 74.6 | HumanEval 76.8 / 75.6
36B-Instruct
- MMLU-Pro 82.7 | MMLU 87.4 | GPQA-D 71.4 | SuperGPQA 55.7
- AIME24 91.7 SOTA | AIME25 84.7 | BeyondAIME 65
- ArcAGI V2 40.6 | KORBench 70.6
- LiveCodeBench v6 67.4 SOTA | HLE 10.1
- IFEval 85.8 | TAU1-Retail 70.4 SOTA | TAU1-Airline 46
- SWE-Bench Verified 56 SOTA | Multi-SWE-Bench 17
- MMMLU 78.4 | RULER (128K) 94.6 SOTA | AIR-Bench 75.6
Инференция: Transformers, vLLM (≥0.10.0), FlashAttention2, 4/8-битная квантизация
171
Топ
Рейтинг
Избранное