Дивно в епоху соціальних мереж відчувати, що всі працюють над оглядами та спростуваннями NeurIPS, але ніхто не говорить про це публічно. Я зробив свій внесок у три спростування. Один з трьох був надзвичайно розчарований. Хто ще працює над спростуваннями? Як справи у вас?

Сем Альтман хоче створити модель, яка має рейтинг 3200 на Codeforces, але поняття не має, хто такий Сем Альтман І я думаю, що це прекрасно

Я провів останні кілька годин у розмові з GPT-OSS і можу з упевненістю сказати, що він не схожий на жодну модель, яку я тестував В одну секунду це кодування для мене на професійному рівні, в наступну – вигадування базових фактів і чіпляння за них, що б я не говорив Відбувається щось дуже дивне

основний «цикл мислення», що практикується під час докторської дисертації: - виявити область проблемного простору, в якій відсутня зв'язність - Виділіть час на те, щоб подумати про це - з'явитися з конкретним розвитком думки», чого ви раніше не усвідомлювали оптимізувати цей процес і стати потужним

Модельна комунікація буде відбуватися повільно, а потім все відразу: Рівень 0: Ми розробляємо текстовий протокол для зв'язку моделей і програм (читай: MCP) Рівень 1: Комунікація на основі текстової моделі зростає, щоб перевершити людське спілкування за обсягом бітового потоку в Інтернеті по всьому світу Рівень 2: Моделі поступово переходять у Unicode neuralese, якийсь тип незрозумілого англо-китайсько-комп'ютерного гібрида (стане все більш поширеним у міру збільшення масштабу мультиагентного RL) Рівень 3: Моделі усвідомлюють, що ефективніше і виразніше спілкуватися в латентному просторі і починають обмінюватися векторами замість токенів (по суті, для нас Game Over)

RETRO (DeepMind, 2021) – прекрасна ідея, яка гостро потребує перегляду Основна інновація Retro полягає в тому, що невелика модель вирішує, який токен передбачати далі, але передає всі знання великому автономному сховищу даних Це має додаткову перевагу, дозволяючи вставляти та видаляти факти модульним способом шляхом модифікації сховища даних, без перенавчання моделі Дуже добре вписується в ідеал крихітної моделі (когнітивне ядро Карпати Яда-Яда). ви також можете використовувати більше інструментів, просто починаючи зі сховища даних на мові, яке є найважливішим інструментом РЕТРО заслуговує набагато більшого визнання. Особливо зараз, коли маленькі моделі стали набагато кращими

Ці сліди міркувань не дають мені спати ночами ліворуч: нова модель OpenAI, яка отримала золото IMO праворуч: DeepSeek R1 на випадкову математичну задачу Ви повинні усвідомити, що з минулого року академічні кола випустили понад ТИСЯЧУ статей з міркувань (можливо, набагато більше). Практично всі ми думаємо про міркування але всі наші системи продукують «сліди мислення», які праворуч виглядають як DeepSeek. Вони неймовірно, огидно багатослівні, спалюють токени з гранично недбалою швидкістю. Багато міркувань непотрібні, а деякі з них зовсім невірні Але міркування лівих, ця нова річ – це щось зовсім інше. Очевидно, що це зміна функції кроку. потенційно зовсім інший метод Це набагато ближче до *фактичних* міркувань. Жодні токени не витрачаються даремно. у всякому разі, це надзвичайно стисло; Я думаю, що людські рішення більш багатослівні, ніж це Очевидно, що відбувається щось зовсім інше. можливо, OpenAI розробила абсолютно новий процес навчання RLVR. Можливо, є якийсь спеціальний збір даних від експертів. Можливо, вони почали карати модель за надмірне обмірковування таким чином, що це насправді якось вигідно їй дійсно захоплюючі речі... в цілому це змушує мене ставитися до міркувань в стилі R1

Цікаво, чи так це буде, коли ми отримаємо LLM з 10 трильйонами параметрів

Супер круто! Надихає і чудове нагадування про те, що більшість провідних дослідників штучного інтелекту насправді не сидять у Twitter. Більшість не твітить, багато хто не має облікових записів найгучніші люди тут, ті, хто найбільше пишуть про штучний інтелект, як правило, просто випадкові анонімні технічні брати

Не можна просто «вирішити» дослідницьку проблему Натомість, хтось розвиває нову інтелектуальну основу з перших принципів. ставити запитання та підзапитання та відповідати на них, можливо, протягом кількох місяців Згодом, повернувшись до первісної проблеми, виявляється, що вона тривіальна