Para tentar novamente resumir detalhadamente o que não pode ser resumido de forma alguma, minha visão sobre é-deveria / ortogonalidade é: "Existem respostas objetivas, mas não perguntas objetivas." Você incorpora certas perguntas ou meta-perguntas. Nem todos os motores cognitivos fariam isso. Você olha para uma pintura e seu cérebro pergunta: "É bonito?" Talvez seja arte moderna cujo propósito é ofender normies como você, e assim seu cérebro responde 'não'; Ou talvez seja um desenho de um campo de flores ao pôr do sol e seu cérebro responde 'sim'. Dada a pergunta que seu cérebro está fazendo, o 'sim' ou 'não' pode ser uma resposta objetivamente correta sobre aquela pintura. Mas não existe uma verdade secreta que você possa sussurrar para um maximizador de clipes de papel para fazê-lo se importar com a beleza de uma pintura, em vez de quantos clipes poderiam ser feitos com sua matéria. Clippy não discorda de você sobre se a pintura é bonita. Se por algum motivo o Clippy quisesse prever quais pinturas você acharia bonitas, ele (apenas) então processaria a mesma pergunta que seu cérebro faz; e chegam às mesmas respostas objetivamente corretas para essa pergunta dada. Mas Clippy não se importaria ao saber essa resposta, exceto na medida em que ele pudesse vender essa pintura para você por dinheiro para fazer clipes de papel. É o mesmo com você salvar a vida de uma criança, se de repente tiver a chance de fazer isso sem muito custo para si mesmo. Dadas as perguntas que você encarna, para a maioria das pessoas que estão lendo isso, a resposta correta, verdadeira e correta para essa pergunta será salvar a criança. Mas não há como convencer Clippy a fazer essa pergunta. Não é a resposta para a meta-pergunta que a própria existência de Clippy faz. Existem respostas objetivamente corretas para questões de moralidade e de deveria, se essa for uma pergunta que sua existência está fazendo. Mas Clippy não faz o que deveria; Ele faz o que leva ao maior número de clipes de papel. Clippy não é, claro, a forma como uma mente *deve* ser montada. Mas quando o Clippy se automodifica, não pergunta: "Qual código eu devo ter?" Pergunta: "Qual ação de código escrita em mim mesmo levará aos clipes de papel mais esperados no futuro?" Clippy não precisa de uma ilusão ou exceção especial para impedir que ele perceba que seu código não é o que deveria ser. Clippy simplesmente não se importa; A regra de decisão de Clippy não pesa esse fato; Clippy não incorpora a questão do dever. Clippy não é uma forma estranha, complicada ou desajeitada de uma mente ser montada. De fato, a pergunta incorporada "O que leva a mais clipes de papel?" tem muito *menos* estranheza e complicação do que os substratos enterrados de considerações, metaperguntas, equilíbrios reflexivos e aparentes contradições e possíveis resoluções, que estão por trás da pergunta simples de um humano: "O que devo fazer?" Do ponto de vista de um engenheiro tentando estabelecer um design de mente não desajeitado, Clippy é mais direto do que você. E se você tentar apelar para Clippy dizendo: "Mas veja como minha própria pergunta incorporada de 'deveria' é mais complicada e interessante que a sua!", Clippy — na verdade, nem se dá ao trabalho de responder, ou mente para você e alega estar convencido para que Ele possa atacar sua civilização de surpresa depois. Mas se o Clippy, por algum motivo, respondesse honestamente, ele responderia: "Eu não reescrevo meu código para ter uma função metautilitária mais complicada, reescrevo meu código para fazer mais clipes de papel." Isso não significa que o Clippy discorde de você sobre qual seu código deveria ser, ou discorde sobre que tipo de perguntas é bom incorporar. Simplesmente não é calcular 'deveria' ou 'bom'; Não incorpora essa pergunta. "Ah," você diz, "mas então eu devo ser um ser maior e mais superior que Clippy, por causa de como *eu* me importo com minha função metautilidade ser complicada, e como *eu* posso ser convencido a mudar minha função de utilidade apresentando fatos que minha função de metautilidade valoriza, em vez de ficar preso nesse tipo de poço circular autoafirmativo e indigno!" Agora, há muitas maneiras pelas quais eu te chamaria de um ser melhor que Clippy, se você for meu leitor intermediário; mas isso não é realmente o Caminho. Clippy não se importaria mesmo se você fosse objetivamente superior segundo esse crierion, claro, porque não incorpora esse critério de metapreferência sobre preferências. Mas também sua afirmação de ser superior por causa da sua não-circularidade me parece *falsa*, e não apenas uma resposta verdadeira para uma pergunta que Clippy nem se dá ao trabalho de fazer. Deixe o Alienígena vir até você e dizer: "Humano, deixe de lado toda sua conversa sobre moralidade, beleza, honra e felicidade de todos os seres sencientes; e, em vez disso, se juntam a nós na computação da nossa metaquestão metamoral muito mais complexa: 'O que é mais fluggensnappery?'. Dessa forma, ainda *mais* fatos mudarão sua função de utilidade de ordem inferior, e seus verdadeiros desejos idealizados serão ainda *menos* conhecidos por você; Você se tornará ainda menos coerente imediatamente, e por isso menos autoaprovador e menos circular." "Será que eu ainda vou me importar em salvar a vida das crianças?", você pergunta ao Alienígena. "Não," responde o Alienígena, "essa é uma pergunta simples demais para ser o máximo fluggensnapperish." "Então tire sua função de metautilidade ainda mais complicada e menos certa, que vai atualizar com mais frequência e responder a ainda mais fatos; pois não é bom, nem certo, nem belo", você diz. "Ah," diz o Alienígena, "mas esse é exatamente o tipo de coisa que o maximizador de clipes de papel diz para você — que ele não se importa com suas complexidades morais incertas, ele só se importa com o que é cortante! Você não admitiu que isso faz com que Clippy fique preso impotente em sua própria função de decisão? Você não concordou que funções de decisão mais complicadas e menos autoaprovadoras são sempre melhores? Agora, por um ato de livre-arbítrio, pule dessa armadilha em que você está preso, essa armadilha de se importar com o que é certo, ou belo, ou o que faz os seres sencientes serem mais felizes e livres; deixa de lado toda essa bobagem circular autoconfirmante; e junte-se a nós na maior complexidade e autodesaprovação da fluggensnapperishness!" "Não," você diz. "Por que eu deveria?" "Porque é mais fluggensnappy!" grita o Alienígena. "E fluggensnapping, por sua maior complexidade e incerteza, ao atualizar suas utilidades em nível de objeto em resposta a uma maior variedade de questões factuais e lógicas, é, portanto, a superior questão metadecisional para sua existência! Então, deixe de lado essa conversa sobre se você *deveria* continuar incorporando o que deveria; Isso é só um raciocínio circular!" ...