ок, нужна помощь! пытался дообучить GPT-OSS на выходных. он работает примерно 100 шагов, а затем выдает ошибку CUDA out-of-memory мое предположение, что время от времени все токены направляются к одному эксперту. тогда обучение срывается. есть ли простое решение? никогда не дообучал MoE раньше.

какую модель нам следует сделать следующей?

интересно, какие данные использовались для обучения новых моделей gpt-oss от OpenAI? Я тоже был в этом заинтересован. Поэтому я сгенерировал 10 миллионов примеров из gpt-oss-20b, провел некоторый анализ, и результаты были... довольно странными. Время для глубокого погружения 🧵

кратчайшее объяснение GPT-5: это именно то, что предсказывали законы масштабирования! модель лучше, отдача уменьшается, и, к сожалению, абсолютные улучшения общего интеллекта будут только уменьшаться. хорошая новость в том, что еще так много нужно сделать. личность, рассуждение, память и креативность все еще остаются открытыми проблемами.

хорошее время, чтобы напомнить всем, что высокий балл на SWEbench на самом деле просто указывает на то, что обучающие данные содержали достаточно большую долю Django

самая впечатляющая часть GPT-5 — это скачок в длинном контексте как вы вообще это делаете? производите какие-то странные синтетические данные на длинные дистанции? сканируете много книг?

мир венчурного капитала предоставляет много ценности, но иногда кажется, что они просто сжигают деньги. несколько стартапов, которые я знаю, собрали около 100 миллионов долларов три года назад для разработки ИИ, создали программное обеспечение, которым никто никогда не пользовался, и теперь все они работают в других местах над несвязанными вещами. Куда делись все эти деньги?

Странно в эпоху социальных сетей чувствовать, что все работают над рецензиями и ответами на NeurIPS прямо сейчас, но никто не говорит об этом публично. Я внес вклад в три ответа. Один из трех был крайне разочаровывающим. Кто еще работает над ответами? Как у вас дела?

Сэм Альтман хочет создать модель, которая будет оценена на 3200 на Codeforces, но не имеет понятия, кто такой Сэм Альтман. И я думаю, что это прекрасно.

Я провел последние пару часов, общаясь с gpt-oss, и могу с уверенностью сказать, что это не похоже ни на одну модель, которую я тестировал. Секунду оно кодирует для меня на профессиональном уровне, а следующую — выдумывает базовые факты и цепляется за них, несмотря на то, что я говорю. Что-то очень странное происходит.