С радостью сообщаю, что я недавно присоединился к команде MSL! Создание личного суперинтеллекта здесь серьезно и весело. Присоединяйтесь к нам!

📣 Рады поделиться с вами нашим реальным исследованием клинического второго пилота со степенью магистра права, совместным исследованием @OpenAI и @PendaHealth. В ходе 39 849 посещений пациентов клиницисты с ИИ отметили относительное снижение диагностических ошибок на 16% и снижение ошибок лечения на 13% по сравнению с пациентами без ИИ. 🧵

Это моя лекция 2-месячной давности в @Cornell «Как мне увеличить свою производительность?» Один из естественных ответов: «Я просто поработаю еще несколько часов». Более длительная работа может помочь, но в конце концов вы достигнете физического предела. Лучше задать вопрос: «Как мне увеличить производительность, не увеличивая при этом столько затрат?» Это и есть рычаги. Мы слышим слово «кредитное плечо» так часто, что его значение легко не заметить. Моя личная любимая категоризация рычагов — это Навал Равикант: человеческий труд, капитал и код/медиа. Каждый из них приводил в движение крупные волны создания богатства в истории. Однако, как только источник кредитного плеча становится популярным (вспомните каналы YouTube сегодня по сравнению с десятью годами ранее), конкуренция сокращает маржу. Поэтому, когда появляется новое кредитное плечо, это редкий шанс получить огромную прибыль. В этом докладе я описываю ИИ как этот новый рычаг. Агент ИИ сочетает в себе трудозатраты (он работает на вас и не требует разрешения) с рычагом кода (вы можете скопировать и вставить его). Это клише — говорить, что ИИ создаст огромное богатство. Но использование этого рычага позволяет нам последовательно интерпретировать шумный новостной цикл ИИ и выявлять реальные возможности. Спасибо @unsojo за то, что приняли меня!

Новый пост в блоге об асимметрии верификации и "законе верификатора": Асимметрия верификации — идея о том, что некоторые задачи гораздо легче проверить, чем решить — становится важной идеей, поскольку у нас есть RL, которая в конечном итоге работает в целом. Отличными примерами асимметрии верификации являются такие вещи, как головоломки судоку, написание кода для веб-сайта, такого как Instagram, и задачи BrowseComp (требуется ~100 веб-сайтов, чтобы найти ответ, но легко проверить, как только вы получите ответ). Другие задачи имеют почти симметричную проверку, например, суммирование двух 900-значных чисел или некоторые сценарии обработки данных. Тем не менее, для других задач гораздо проще предложить возможные решения, чем проверить их (например, проверить факты в длинном эссе или заявить о новой диете, например, «ешьте только бизонов»). Важная вещь, которую нужно понимать об асимметрии верификации, заключается в том, что вы можете улучшить асимметрию, предварительно проделав некоторую работу. Например, если у вас есть ключ к ответу на математическую задачу или если у вас есть тестовые сценарии для задачи Leetcode. Это значительно увеличивает набор проблем с желательной асимметрией верификации. «Закон верификатора» гласит, что легкость обучения ИИ решению задачи пропорциональна тому, насколько верифицируема задача. Все задачи, которые можно решить и легко проверить, будет решать ИИ. Возможность обучить ИИ решению задачи пропорциональна тому, обладает ли задача следующими свойствами: 1. Объективная истина: все согласны с тем, что такое хорошие решения 2. Быстрая проверка: любое решение может быть проверено за несколько секунд 3. Масштабируемость для проверки: множество решений могут быть проверены одновременно 4. Низкий уровень шума: верификация максимально тесно связана с качеством решения 5. Постоянное вознаграждение: легко ранжировать достоинства многих решений для одной проблемы Одним из очевидных проявлений закона верификатора является тот факт, что большинство тестов, предложенных в области искусственного интеллекта, легко проверяются и до сих пор были решены. Обратите внимание, что практически все популярные бенчмарки за последние десять лет соответствуют критериям #1-4; Бенчмарки, которые не соответствуют критериям #1-4, будут бороться за популярность. Почему верифицируемость так важна? Объем обучения в области ИИ максимизируется при соблюдении вышеуказанных критериев; Вы можете сделать много шагов по градиенту, где каждый шаг имеет много сигнала. Скорость итераций имеет решающее значение — именно по этой причине прогресс в цифровом мире был намного быстрее, чем прогресс в физическом. AlphaEvolve от Google — один из лучших примеров использования асимметрии верификации. Он фокусируется на установках, которые соответствуют всем вышеуказанным критериям, и привел к ряду достижений в математике и других областях. В отличие от того, что мы делали в области искусственного интеллекта в течение последних двух десятилетий, это новая парадигма в том, что все проблемы оптимизируются в условиях, когда набор поездов эквивалентен тестовому набору. Асимметрия верификации присутствует повсюду, и очень интересно рассматривать мир неровного интеллекта, где все, что мы можем измерить, будет решено.

Смесь долголетия Брайана Джонсона — самый популярный напиток на вечеринках в Сан-Франциско.

прямо огонь, я прочитал сразу

Совет для нормальных людей: не вступайте в брак рано, если вы растете и меняетесь каждый год Приятель по искусственному интеллекту (@YiTayML): Вы похожи на нейронную сеть в процессе обучения, и потери все еще улучшаются. Лучше обучить сходимости, а не делать ранний снимок контрольной точки

У нас еще нет ИИ, который самосовершенствуется, и когда он появится, это станет настоящим прорывом. С учетом большего опыта по сравнению с временами GPT-4, очевидно, что это не будет "быстрым взлетом", а скорее крайне постепенным процессом, вероятно, на протяжении десятилетия. Первое, что нужно знать, это то, что самосовершенствование, т.е. модели, обучающие сами себя, не является бинарным процессом. Рассмотрим сценарий, когда GPT-5 обучает GPT-6, что было бы невероятно. Сможет ли GPT-5 вдруг перейти от полной неспособности обучать GPT-6 к тому, чтобы делать это крайне эффективно? Определенно нет. Первые запуски обучения GPT-6, вероятно, будут крайне неэффективными по времени и вычислительным ресурсам по сравнению с человеческими исследователями. И только после множества попыток GPT-5 действительно сможет обучать GPT-6 лучше, чем люди. Во-вторых, даже если модель сможет обучать саму себя, она не станет внезапно лучше во всех областях. Существует градиент сложности в том, насколько трудно улучшить себя в различных областях. Например, возможно, что самосовершенствование сработает в первую очередь в областях, которые мы уже знаем, как легко исправить после обучения, таких как базовые галлюцинации или стиль. Далее будут математика и программирование, что требует больше усилий, но для этого уже существуют установленные методы улучшения моделей. А затем, в крайнем случае, можно представить, что есть некоторые задачи, которые очень трудны для самосовершенствования. Например, способность говорить на тлингите, языке коренных американцев, на котором говорит около 500 человек. Модели будет очень трудно самосовершенствоваться в разговоре на тлингите, так как у нас еще нет способов решения проблем с языками с низкими ресурсами, кроме как сбором дополнительных данных, что займет время. Поэтому из-за градиента сложности самосовершенствования это не произойдет сразу. Наконец, возможно, это спорно, но в конечном итоге прогресс в науке сдерживается реальными экспериментами. Некоторые могут считать, что чтение всех статей по биологии даст нам лекарство от рака, или что чтение всех статей по машинному обучению и освоение всей математики позволит вам идеально обучить GPT-10. Если бы это было так, то люди, которые читают больше всего статей и изучают больше всего теории, были бы лучшими исследователями ИИ. Но на самом деле произошло так, что ИИ (и многие другие области) стали доминировать безжалостно эмпирическими исследователями, что отражает, насколько прогресс основан на реальных экспериментах, а не на чистом интеллекте. Так что моя точка зрения заключается в том, что хотя суперумный агент может разработать эксперименты, которые в 2 или даже 5 раз лучше, чем у наших лучших человеческих исследователей, в конечном итоге им все равно придется ждать, пока эксперименты будут проведены, что будет ускорением, но не быстрым взлетом. В заключение, существует множество узких мест для прогресса, не только чистый интеллект или система самосовершенствования. ИИ решит множество задач, но каждая область имеет свою собственную скорость прогресса. И даже самый высокий интеллект все равно потребует экспериментов в реальном мире. Так что это будет ускорение, а не быстрый взлет, спасибо за то, что прочитали мой монолог.

Самое приятное в работе в офисе по ночам и в выходные — это не сама работа, которую вы выполняете, а спонтанные разговоры с другими людьми, которые всегда работают. Это те люди, которые, как правило, делают большие дела и станут вашими самыми успешными друзьями.

Я бы сказал, что мы безусловно находимся на уровне AGI, когда ИИ сможет создать настоящего, живого единорога. И нет, я не имею в виду компанию стоимостью $1 млрд, вы, nerds, я имею в виду буквального розового коня с спиральным рогом. Парагон научного прогресса в области генетической инженерии и программирования клеток. То, о чем мечтали в детстве. Осмелюсь сказать, что это произойдет в нашей жизни.