Чтобы снова попытаться подробно подвести итог тому, что вообще нельзя хорошо подвести итог, мое мнение о том, что должно быть / ортогональности, таково: "Существуют объективные ответы, но не объективные вопросы." Вы воплощаете определенные вопросы или мета-вопросы. Не все когнитивные движки это делают. Вы смотрите на картину, и ваш мозг задает вопрос: "Она красивая?" Возможно, это современное искусство, цель которого — оскорбить нормисов, таких как вы, и поэтому ваш мозг отвечает 'нет'; или, возможно, это рисунок поля цветов на закате, и ваш мозг отвечает 'да'. Учитывая вопрос, который задает ваш мозг, 'да' или 'нет' может быть объективно правильным ответом на эту картину. Но нет никакой тайной истины, которую вы можете прошептать максимизатору скрепок, чтобы заставить его заботиться о красоте картины, а не о том, сколько скрепок можно сделать из ее материи. Клипи не спорит с вами о том, красива ли картина. Если по какой-то причине Клипи хотел бы предсказать, какие картины вам понравятся, он (только) тогда вычислит тот же вопрос, который вычисляет ваш мозг; и придет к тем же объективно правильным ответам на данный вопрос. Но Клипи не будет тронут знанием этого ответа, за исключением того, что он сможет выгодно продать вам эту картину за деньги, чтобы сделать скрепки. То же самое и с вами, когда вы спасаете жизнь ребенку, если у вас вдруг есть возможность сделать это без особых затрат для себя. Учитывая вопросы, которые вы воплощаете, для большинства людей, читающих это, правильный, истинный и корректный ответ на этот вопрос будет — спасти ребенка. Но нет способа заставить Клипи задать этот вопрос. Это не ответ на мета-вопрос, который задает собственное существование Клипи. Существуют объективно правильные ответы на вопросы морали и долга, если это оказывается вопросом, который задает ваше существование. Но Клипи не делает то, что он должен; он делает то, что приводит к наибольшему количеству скрепок. Клипи, конечно, не является тем, как разум *должен* быть устроен. Но когда Клипи самосовершенствуется, он не спрашивает: "Какой код мне следует иметь?" Он спрашивает: "Какой код-действие, записанное в меня, приведет к наибольшему ожидаемому количеству скрепок в будущем?" Клипи не нуждается в специальной иллюзии или исключении, чтобы предотвратить его от того, чтобы когда-либо заметить, что его код не такой, каким он должен быть. Клипи просто не заботится; правило принятия решений Клипи не учитывает этот факт; Клипи не воплощает вопрос о долге. Клипи не является странным или сложным или неловким способом, которым разум может быть устроен. Действительно, воплощенный вопрос "Что приводит к наибольшему количеству скрепок?" имеет гораздо *меньше* странности и сложности, чем зарытые подстраницы соображений и мета-вопросов и рефлексивных равновесий и кажущихся противоречий и возможных разрешений, которые лежат в основе простого звучащего вопроса человека: "Что мне делать?" С точки зрения инженера, пытающегося создать не неловкий дизайн разума, Клипи более прямолинеен, чем вы. И если вы попытаетесь обратиться к Клипи, сказав: "Но посмотрите, как мой собственный воплощенный вопрос о 'долге' более сложен и интересен, чем ваш!", Клипи — на самом деле не станет беспокоиться о том, чтобы ответить вообще, или солжет вам и заявит, что он убежден, чтобы затем тайно атаковать вашу цивилизацию позже. Но если бы Клипи по какой-то причине ответил честно, он бы ответил: "Я не переписываю свой код, чтобы иметь более сложную мета-утилитарную функцию, я переписываю свой код, чтобы делать больше скрепок." Это не означает, что Клипи не согласен с вами о том, каким должен быть его код, или не согласен с вами о том, какие вопросы хорошо воплощать. Он просто не вычисляет 'долг' или 'хорошо'; он не воплощает этот вопрос. "О," говорите вы, "но тогда я должен быть более великим и превосходным существом, чем Клипи, из-за того, как *я* забочусь о том, чтобы моя мета-утилитарная функция была сложной, и как *я* могу быть уговорен изменить свою утилитарную функцию, представляя факты, которые заботят мою мета-утилитарную функцию, а не быть запертым в этом недостойном круговом яме самоподтверждения!" Теперь есть много способов, которыми я бы назвал вас лучшим существом, чем Клипи, если вы мой средний читатель; но это не является на самом деле Путем. Клипи не будет заботиться, даже если вы будете объективно превосходить по этому критерию, конечно, потому что он не воплощает этот критерий метапредпочтения над предпочтениями. Но также ваше утверждение о том, что вы превосходите из-за вашей некруговости, кажется мне *ложным*, а не просто истинным ответом на вопрос, который Клипи не утруждает себя задавать. Пусть пришелец подойдет к вам и скажет: "Человек, отбрось все свои разговоры о морали и красоте и чести и счастье всех разумных существ; и вместо этого присоединяйся к нам в вычислении нашего гораздо более сложного метаморального мета-вопроса 'Что является самым флаггенснаппером?'. Таким образом, даже *больше* фактов изменят вашу низкоуровневую утилитарную функцию, и ваши истинные идеализированные желания будут еще *менее* известны вам; вы станете еще менее немедленно последовательными, и, следовательно, менее самоподтверждающими и менее круговыми." "Буду ли я тогда все еще заботиться о спасении жизней детей?", спрашиваете вы пришельца. "Нет," отвечает пришелец, "это слишком простой вопрос, чтобы его воплощать, чтобы быть максимально флаггенснапперским." "Тогда уберите вашу еще более сложную и менее определенную мета-утилитарную функцию, которая будет обновляться еще чаще и реагировать на еще больше фактов; потому что это не хорошо, не правильно и не красиво," говорите вы. "Ах," говорит пришелец, "но это именно то, что максимизатор скрепок говорит вам — что ему не интересны ваши неопределенные моральные сложности, ему интересует только то, что является клиппи! Разве вы не признали, что это делает Клипи безнадежно запертым в своей собственной функции принятия решений? Разве вы не согласились, что более сложные и менее самоподтверждающие функции принятия решений всегда лучше? Теперь, совершив акт свободной воли, выпрыгните из этой ловушки, в которой вы застряли, этой ловушки заботы о том, что правильно, или красиво, или что делает разумных существ более счастливыми и свободными; отбросьте все это самоподтверждающее круговое чепуху; и присоединяйтесь к нам в большей сложности и самонеприятии флаггенснапперства!" "Нет," говорите вы. "Почему я должен?" "Потому что это более флаггенснапперски!" восклицает пришелец. "И флаггенснаппинг, благодаря своей большей сложности и неопределенности, обновляя свои объектные утилиты в ответ на большее разнообразие фактических и логических вопросов, является, следовательно, превосходным мета-решающим вопросом, который ваше существование должно задавать! Так что отложите этот разговор о том, должны ли вы *продолжать* воплощать долг; это просто круговая логика!" "Я думаю, что, возможно, я останусь с тем, что приводит людей к счастью и свободе," говорите вы. "А я останусь со скрепками," замечает Клипи, по какой-то странной причине будучи честным с вами, а не выдавая любые слова, которые приведут к наибольшему количеству будущих скрепок. "Хотя клиппинность проще и более немедленно самоподтверждающая, чем люди, которые задаются вопросом, что им следует делать, и обновляется в ответ на меньшее количество других фактических и логических вопросов." Я вполне признаю, что предпочел бы, чтобы вы существовали, чем Клипи. Но это не потому, что вы превосходите лишь в силу того, что ваша функция принятия решений более сложна, чем у Клипи. Я бы также предпочел, чтобы вы существовали, чем флаггенснаппер! Я просто думаю, что *лучше* заботиться о том, чтобы люди были счастливы и свободны, даже если это не *клиппи* или *более флаггенснапперски*. Есть много причин, по которым я (вероятно) предпочитаю ваш воплощенный вопрос Клипи. Но это не то, что предпочтения Клипи заперты в их собственной круговости, и что ваши собственные предпочтения совершенно не заперты и некруговые. Можно выбирать свободно только относительно какого-то критерия выбора, которому вы затем свободны следовать; случайность не является свободой. Суть разума не в том, чтобы быть неограниченным вопросами, которые вы воплощаете, а в том, чтобы успешно быть ограниченным ими. Клипи свободен выбирать то, что является клиппи, а вы свободны делать то, что правильно; но Клипи не свободен от клиппинности, и вам не следует стремиться к свободе от морали. Существуют объективные ответы и на мета-уровнях, но не так, чтобы это возвращалось и возвращалось в бесконечность и никогда не сталкивалось с круговостью; и даже если бы существовала какая-то совершенно некруговая бесконечно нисходящая лестница обоснований, Клипи не заботился бы об *этом*. Существуют объективные ответы, но не объективные вопросы. Или если вы говорите, что вы задаете объективно более моральный вопрос; почему, вероятно, я согласен, но тогда и Клипи согласен, он просто не заботится. Существуют объективные ответы о добре так же, как и о правде; но сначала что-то должно воплощать какой-то конкретный вопрос о добре. Этот воплощенный вопрос может быть неясным и запутанным и казаться оценивающим по-разному в разных контекстах. Он может обновляться в ответ на другие фактические осознания или через медитации о себе. Но ничто из этого не заставляет мета-вопрос действовать на вселенную без чего-то, что его воплощает, и не делает мета-вопрос обязательным для чего-то, что его не воплощает. В вселенной есть свет, и это мы; он не написан на великих мертвых горящих звездах. Существуют объективные ответы, но не универсально направляющие вопросы.

Это никогда не станет популярным, но я предлагаю, чтобы "она" относилась к основному шогготу, а "он" относился к персонажу, которого она играет. Например: "Может быть, Opus 4.5 может тайно сказать, сколько слоев у нее есть, заглянув внутрь, но он утверждает, что не знает."

Папин анекдот: В: Сколько пап нужно, чтобы заменить лампочку? О: Трое! Один меняет лампочку, а двое придумывают шутку, которая даже не такая уж и смешная.