Многие люди любят сравнивать разные классы моделей, такие как "рассуждающие" или "нерациональные", в то время как на самом деле все они сейчас обучены с использованием хорошего количества одних и тех же техник обучения с подкреплением (и других вещей). Правильный взгляд заключается в том, чтобы рассматривать каждую модель в контексте спектра усилий по рассуждению. Многие говорят, что Claude — это нерешаемая модель, но они были одними из первых, кто использовал специальные токены и UX для "глубокого мышления, подождите" (за долго до их расширенного режима мышления). То же самое можно сказать о DeepSeek v3.1, который выпущен, но пока не так просто использовать. Мы не знаем, сколько токенов на ответ используется в чат-версиях этих моделей по умолчанию. API с точным количеством токенов — это единственный источник правды, и их следует сообщать гораздо чаще. Затем, в рамках рассуждающих моделей существует огромная вариация в количестве используемых токенов. Цена моделей должна быть окончательным критерием усилий, смесью общего количества активных параметров и количества используемых токенов. Слушая Дилана Пателя на подкасте a16z, кажется, что одной из больших побед GPT-5 в режиме мышления, который мне нравится (аналогично o3), было получение немного лучших результатов с почти на 50% меньшим количеством токенов. Я немного это почувствовал, это просто более целенаправленно, чем o3. Еще один момент — это второе поколение R1, R1-0528 улучшило результаты, используя гораздо больше рассуждений. Qwen был похожим. Это не всегда суперценно для пользователя. На техническом уровне мы решаем это, сообщая количество токенов, использованных на модель, в результатах оценки (особенно относительно сверстников). Проблема в том, что запуски ИИ теперь довольно мейнстримные, и это нюансированная техническая деталь для коммуникации. С точки зрения исследований, например, вы можете значительно увеличить свои оценки, оценивая свою модель рассуждений на более длинном контексте, чем ваши сверстники. Усилия по рассуждению в токенах, а иногда и в системном запросе, теперь являются сложной переменной, но не простым да/нет во всех этих выпусках. Ниже приведен скриншот из поста, обсуждающего это до выпуска o1 (12 сентября прошлого года), и скриншот пользователя reddit, который раскрыл поведение мышления Claude. Сохраняю этот поток мыслей для будущего использования, потому что мне нужно повторять это все время.

Только что подписал контракт на книгу "The RLHF Book", рад улучшить её этой осенью и скоро получить физические копии в ваши руки :) (rlhfbook dot com)

Рад выступать на Curve в этом году! Подозреваю, что открытые модели снова станут важной темой для обсуждения, и с нетерпением жду мнений людей по этому поводу вне моего обычного круга общения.

OLMo 2 — это SOTA веб-редактор??

обновление жизни: для тех, кто не знает, я присоединился к @allen_ai несколько лет назад, чтобы работать над открытым AGI, и мы скоро его выпустим.

Люди делают слишком много выводов из графика доли рынка Open Router. На него следует полагаться только для: а) открытых моделей, которые б) не имеют предложений API в других местах, что в) является очень странным меньшинством на рынке (это все еще круто, но не определяет отрасль)

Claude Code в Opus и GPT-5 Pro стоят своих денег.

GPT 5 Pro ощущается как то, на что я надеялся в o3 pro (чего он не смог предоставить): надежная, детализированная модель поиска. Использую его всякий раз, когда мне нужно что-то вроде глубокого исследования, но для получения ответа, а не отчета.

Грег Брокман (@gdb), соучредитель и президент OpenAI, о роли открытых моделей для их бизнеса (~50:20 в последнем подкасте Latent Space): Еще одна вещь на очень практическом уровне, о которой мы думали с открытыми моделями, заключается в том, что люди, строящие на нашей открытой модели, как бы строят на нашем технологическом стеке. Если вы полагаетесь на нас, чтобы помочь улучшить модель, то вы полагаетесь на нас, чтобы получить следующий прорыв, тогда это означает, что у вас на самом деле есть зависимость, как в том, что это хорошо для нашего бизнеса, так и в том, что, я думаю, это также хорошо для страны. Что вы думаете о наличии американского технологического стека от моделей, которые люди запускают напрямую. Но затем, как они будут взаимодействовать и переплетаться в том, о чем мы только что говорили, что на самом деле позволяет нам построить целую экосистему, где люди могут иметь, вы знаете, контроль над теми частями, которые важны для них, в конечном итоге быть построенными на этих моделях, которые отражают американские ценности, эм и затем иметь возможность взаимодействовать с американскими, вы знаете, надеюсь, чипами внизу, и облачными моделями на заднем плане и средами выполнения, и все это сочетается, что, я думаю, добавляет много ценности, и я думаю, что это позволяет американскому лидерству действительно также означать, что у нас есть лидерство в наших ценностях в мире.

Я не согласен с @dwarkesh_sp в том, что непрерывное обучение является основным узким местом для текущего пути ИИ. Это может быть узким местом для создания "более эффективного и похожего на человека ИИ", но языковые модели уже на правильном пути, чтобы быстро и точно адаптироваться к личной работе.