Траектория будущего может вскоре быть закреплена. В новой статье я рассматриваю механизмы, с помощью которых курс долгосрочного будущего может быть определен в течение нашей жизни. К ним относятся создание институтов, подкрепленных ИИ, глобальная концентрация власти, широкое освоение космоса, первые бессмертные существа, массовое проектирование новых существ и способность к самосовершенствованию значительными и долговременными способами. Я не очень уверен, что такие события произойдут, но, на мой взгляд, они достаточно вероятны, чтобы работа по их направлению в лучшие стороны была очень ценной. Давайте рассмотрим каждый механизм по очереди. Первый — институты на основе ИИ. Как только у нас появится ИИ, принимающие решения смогут: - Создать институт и настроить ИИ так, чтобы он понимал эту конституцию и имел целью ее соблюдение. - Наделить этот ИИ способностью обеспечивать соблюдение конституции. - Хранить копии нейронных весов ИИ в нескольких местах, чтобы уменьшить риск уничтожения любой из копий. - Перезагрузить оригинальный Конституционный ИИ, чтобы проверить, что все ИИ, которым поручено обеспечивать соблюдение конституции, сохраняют приверженность своим первоначальным целям по мере того, как эти ИИ учатся и обновляют свои нейронные веса со временем. Это было бы так, как если бы, вместо того чтобы Верховный суд интерпретировал Конституцию США, мы могли бы вызвать призраков Мэдисона и Гамильтона и спросить их напрямую — и их мнения были бы решающими. С этими механизмами на месте, этот ИИ-подкрепленный конституционный механизм мог бы функционировать бесконечно. Второй — бессмертие. На протяжении истории смерть функционировала как естественный тормоз на сохранение любого конкретного набора ценностей или структур власти. Со временем даже самые укоренившиеся ценности в конечном итоге меняются, когда новые поколения заменяют старые. Технологии после ИИ могут коренным образом изменить эту динамику. Цифровые существа будут по своей природе невосприимчивы к биологическому старению; в сочетании с идеальной репликацией и миграцией аппаратного обеспечения мы сможем создать умы, чьи точные ценности и процессы принятия решений могут сохраняться неизменными бесконечно. Аналогичная динамика может иметь место и для биологического бессмертия. Технологический взрыв, вызванный ИИ, может значительно продлить или эффективно устранить биологические ограничения на продолжительность жизни человека с помощью технологий, нацеленных на основные механизмы старения. Третий — проектирование существ. На протяжении истории изменения происходили частично потому, что последующие поколения не унаследовали те же ценности, что и их предки. Но эта динамика может измениться после ИИ. Вероятно, подавляющее большинство существ, которые мы создадим, будут ИИ, и они будут продуктами дизайна — мы сможем выбирать, какие предпочтения у них будут. И, с достаточной технологической мощностью, мы, вероятно, сможем выбирать предпочтения наших биологических потомков тоже. Даже если люди решат не жить вечно, их ценности могут продолжать сохраняться через идеальную передачу от одного поколения к другому. Четвертый — сильное самосовершенствование. В будущем люди, вероятно, смогут изменять свои собственные убеждения и предпочтения так, чтобы точно выбирать, какие убеждения и предпочтения иметь. Таким образом, не только люди сегодня могут контролировать будущие ценности общества, живя вечно; они также смогут контролировать ценности своих будущих «я». Религиозный фанатик может выбрать иметь непоколебимую уверенность в том, что его любимая религия истинна; идеологический экстремист может выбрать иметь безусловное и непоколебимое предпочтение в пользу своей политической партии перед любой другой. Кроме создания новых механизмов, которые обеспечивают постоянную зависимость от пути, мир после ИИ также может уменьшить причины разрушений. На протяжении истории изменения в обществе часто были вызваны технологическими инновациями, которые разрушали существующие структуры власти. Однако, по мере того как цивилизация приближается к технологической зрелости — гипотетической точке, в которой все основные технологии были изобретены — этот источник разрушений исчезнет. Современные технологии также помогут предотвратить другие виды разрушений. Они значительно улучшат возможности прогнозирования: современные ИИ-системы смогут обрабатывать гораздо больше информации, моделировать сложные системы с большей точностью и прогнозировать результаты на более длительные временные горизонты. Таким образом, гораздо менее вероятно, что люди откажутся от своего влияния просто из-за какой-то ошибки. Наконец, мир после ИИ может характеризоваться бесконечной доминирующей защитой, что позволит постоянно стабильной концентрации власти. В частности, бесконечная доминирующая защита может возникнуть в результате широкого освоения космоса. Если звездные системы будут сильно защищены, то начальное распределение звездных систем может, в принципе, сохраняться бесконечно. Возможно, что после первоначального распределения произойдет торговля или дарение некоторых звездных систем; но даже в этом случае все равно будет очень сильная зависимость от пути, поскольку окончательное распределение звездных систем будет сильно зависеть от начального распределения. Эти вопросы могут показаться далекими — но взрывы интеллекта и промышленности делают их актуальными. Я думаю, что вероятность начала взрыва интеллекта в следующие 10 лет составляет более 1 из 3. И если продвинутый ИИ приведет к взрывному технологическому прогрессу и промышленной экспансии, то многие новые механизмы для сохранения появятся в быстром succession.

Документ здесь: