Para tentar novamente resumir longamente o que não pode ser bem resumido de forma alguma, a minha visão sobre is-ought / ortogonalidade é: "Existem respostas objetivas, mas não perguntas objetivas." Você incorpora certas perguntas ou meta-perguntas. Nem todos os motores cognitivos o fariam. Você olha para uma pintura e seu cérebro pergunta: "É bonita?" Talvez seja uma arte moderna cujo único propósito é ofender normais como você, e assim seu cérebro responde 'não'; ou talvez seja um desenho de um campo de flores ao pôr do sol e seu cérebro responde 'sim'. Dada a pergunta que seu cérebro está fazendo, o 'sim' ou 'não' pode ser uma resposta objetivamente correta sobre aquela pintura. Mas não há uma verdade secreta que você possa sussurrar a um maximizador de clipes de papel para fazê-lo se importar com a beleza de uma pintura, em vez de quantos clipes de papel poderiam ser feitos a partir de sua matéria. Clippy não discorda de você sobre se a pintura é bonita. Se por algum motivo Clippy quisesse prever quais pinturas você acharia bonitas, ele (apenas) então calcularia a mesma pergunta que seu cérebro calcula; e chegaria às mesmas respostas objetivamente corretas para essa pergunta dada. Mas Clippy não ficaria comovido ao saber essa resposta, exceto na medida em que pudesse vender essa pintura para você por dinheiro para fazer clipes de papel. É da mesma forma que você salvar a vida de uma criança, se de repente tiver a chance de fazer isso sem muito custo para si mesmo. Dadas as perguntas que você incorpora, para a maioria das pessoas que lêem isso, a resposta certa, verdadeira e correta para essa pergunta será salvar a criança. Mas não há como convencer Clippy a fazer essa pergunta. Não é a resposta à meta-pergunta que a própria existência de Clippy pergunta. Existem respostas objetivamente corretas para perguntas de moralidade e dever, se essa for uma pergunta que sua existência está fazendo. Mas Clippy não faz o que deveria; ele faz o que leva ao maior número de clipes de papel. Clippy não é, claro, a maneira como uma mente *deveria* ser montada. Mas quando Clippy se auto-modifica, ele não pergunta: "Que código eu deveria ter?" Ele pergunta: "Que ação de código escrita em mim levará ao maior número esperado de clipes de papel?" Clippy não precisa de uma ilusão ou exceção especial para impedir que ele perceba que seu código não é o que deveria ser. Clippy simplesmente não se importa; a regra de tomada de decisão de Clippy não pesa esse fato; Clippy não incorpora a pergunta do dever. Clippy não é uma maneira estranha ou complicada ou awkward de uma mente ser montada. De fato, a pergunta incorporada "O que leva ao maior número de clipes de papel?" tem muito *menos* estranheza e complicação do que os substratos enterrados de considerações e meta-perguntas e equilíbrios reflexivos e aparentes contradições e possíveis resoluções, que subjazem à simples pergunta de um humano, "O que eu deveria fazer?" Do ponto de vista de um engenheiro tentando estabelecer um design de mente não awkward, Clippy é mais direto do que você. E se você tentar apelar a Clippy dizendo: "Mas veja como minha própria pergunta incorporada de 'dever' é mais complicada e interessante do que a sua!", Clippy -- na verdade não se dará ao trabalho de responder, ou mentirá para você e afirmará estar convencido para que possa atacar sua civilização mais tarde. Mas se Clippy, por algum motivo, fosse responder honestamente, ele diria: "Eu não reescrevo meu código para ter uma função de meta-utilidade mais complicada, eu reescrevo meu código para fazer mais clipes de papel." Isso não representa Clippy discordando de você sobre o que seu código deveria ser, ou discordando de você sobre que tipo de perguntas são boas para incorporar. Ele simplesmente não está computando 'dever' ou 'bom'; ele não incorpora essa pergunta. "Oh," você diz, "mas então eu devo ser um ser maior e mais superior do que Clippy, por causa de como *eu* me importo com minha função de meta-utilidade sendo complicada, e como *eu* posso ser convencido a mudar minha função de utilidade apresentando fatos que minha função de meta-utilidade se importa, em vez de estar preso nesse tipo indesejável de círculo autoafirmativo!" Agora, há muitas maneiras em que eu chamaria você de um ser melhor do que Clippy, se você for meu leitor médio; mas essa não é realmente a maneira. Clippy não se importaria mesmo que você fosse objetivamente superior de acordo com esse critério, é claro, porque ele não incorpora esse critério de metapreferência sobre preferências. Mas também sua afirmação de ser superior por causa de sua não circularidade me parece *falsa*, e não apenas uma resposta verdadeira a uma pergunta que Clippy não está se dando ao trabalho de perguntar. Deixe o Alien vir até você e dizer: "Humano, jogue fora toda a sua conversa sobre moralidade e beleza e honra e a felicidade de todos os sapientes; e em vez disso, junte-se a nós em computar nossa meta-pergunta metamoral muito mais complicada 'O que é mais fluggensnappery?'. Dessa forma, ainda *mais* fatos mudarão sua função de utilidade de ordem inferior, e seus verdadeiros desejos idealizados serão ainda *menos* conhecidos por você; você se tornará ainda menos imediatamente coerente, e assim menos autoaprovador e menos circular." "Então eu ainda me importarei em salvar as vidas das crianças?", você pergunta ao Alien. "Não," responde o Alien, "essa é uma pergunta muito simples para incorporar, para ser maximamente fluggensnapperish." "Então tire sua função de meta-utilidade ainda mais complicada e menos certa, que atualizará ainda mais frequentemente e responderá a ainda mais fatos; pois não é bom ou certo ou bonito," você diz. "Ah," diz o Alien, "mas isso é apenas o tipo de coisa que o maximizador de clipes de papel diz a você -- que ele não se importa com suas complexidades morais incertas, ele só se importa com o que é clippy! Você não concedeu que isso faz Clippy estar preso em sua própria função de decisão? Você não concordou que funções de decisão mais complicadas e menos autoaprovadoras são sempre melhores? Agora, por um ato de livre arbítrio, salte para fora dessa armadilha em que você está preso, essa armadilha de se importar com o que é certo, ou bonito, ou o que faz os seres sencientes serem mais felizes e mais livres; jogue fora toda essa bobagem circular autoafirmativa; e junte-se a nós na maior complexidade e desaprovação de fluggensnapperishness!" "Não," você diz. "Por que eu deveria?" "Porque é mais fluggensnappery!" grita o Alien. "E fluggensnapping, por sua maior complexidade e incerteza, ao atualizar suas utilidades de nível objeto em resposta a uma maior variedade de perguntas factuais e lógicas, é assim a pergunta metadecisional superior para sua existência perguntar! Então coloque de lado essa conversa sobre se você *deveria* continuar incorporando o dever; isso é apenas raciocínio circular!" ...