Para intentar resumir nuevamente en detalle lo que no se puede resumir bien en absoluto, mi opinión sobre la relación entre el ser y el deber es: "Hay respuestas objetivas pero no preguntas objetivas." Tú encarnas ciertas preguntas o meta-preguntas. No todos los motores cognitivos lo harían. Miras una pintura y tu cerebro se pregunta: "¿Es hermosa?" Tal vez sea arte moderno cuyo único propósito es ofender a los normies como tú, y así tu cerebro responde 'no'; o tal vez es un dibujo de un campo de flores al atardecer y tu cerebro responde 'sí'. Dada la pregunta que tu cerebro está haciendo, el 'sí' o 'no' puede ser una respuesta objetivamente correcta sobre esa pintura. Pero no hay una verdad secreta que puedas susurrar a un maximizador de clips para que le importe la belleza de una pintura, en lugar de cuántos clips se podrían hacer con su materia. Clippy no está en desacuerdo contigo sobre si la pintura es hermosa. Si por alguna razón Clippy quisiera predecir qué pinturas encontrarías hermosas, entonces calcularía (solo) la misma pregunta que tu cerebro calcula; y llegaría a las mismas respuestas objetivamente correctas a esa pregunta dada. Pero Clippy no se vería afectado por conocer esa respuesta, excepto en la medida en que pudiera venderte esa pintura por dinero para hacer clips. Es lo mismo con salvar la vida de un niño, si de repente tienes la oportunidad de hacerlo sin mucho costo para ti. Dadas las preguntas que encarnas, para la mayoría de las personas que leen esto, la respuesta correcta, verdadera y correcta a esa pregunta será salvar al niño. Pero no hay forma de convencer a Clippy de que haga esa pregunta. No es la respuesta a la meta-pregunta que la propia existencia de Clippy plantea. Hay respuestas objetivamente correctas a preguntas de moralidad y deber, si esa resulta ser una pregunta que tu existencia está planteando. Pero Clippy no hace lo que debería; hace lo que conduce al mayor número de clips. Clippy no es, por supuesto, la forma en que una mente *debería* estar estructurada. Pero cuando Clippy se auto-modifica, no pregunta: "¿Qué código debería tener?" Pregunta: "¿Qué acción-código escrita en mí mismo conducirá a la mayor cantidad de clips esperados en el futuro?" Clippy no necesita una ilusión especial o una excepción para evitar notar que su código no es lo que debería ser. Clippy simplemente no le importa; la regla de toma de decisiones de Clippy no pesa ese hecho; Clippy no encarna la pregunta del deber. Clippy no es una forma extraña, complicada o incómoda de estructurar una mente. De hecho, la pregunta encarnada "¿Qué conduce a la mayor cantidad de clips?" tiene mucha *menos* extrañeza y complicación que los sustratos enterrados de consideraciones y meta-preguntas y equilibrios reflexivos y aparentes contradicciones y posibles resoluciones, que subyacen a la simple pregunta de un humano: "¿Qué debería hacer?" Desde el punto de vista de un ingeniero que intenta establecer un diseño de mente no incómodo, Clippy es más directo que tú. Y si intentas apelar a Clippy diciendo: "Pero mira cómo mi propia pregunta encarnada de 'deber' es más complicada e interesante que la tuya!", Clippy -- en realidad no se molestará en responder en absoluto, o te mentirá y afirmará estar convencido para poder atacar a tu civilización más tarde. Pero si Clippy, por alguna razón, respondiera honestamente, diría: "No reescribo mi código para tener una función de meta-utilidad más complicada, reescribo mi código para hacer más clips." Esto no representa que Clippy esté en desacuerdo contigo sobre lo que su código debería ser, o en desacuerdo contigo sobre qué tipo de preguntas son buenas para encarnar. Simplemente no está computando 'deber' o 'bueno'; no encarna esa pregunta. "Oh," dices, "pero entonces debo ser un ser mayor y más superior que Clippy, por cómo *yo* me preocupo de que mi función de meta-utilidad sea complicada, y cómo *yo* puedo ser convencido de cambiar mi función de utilidad al presentar hechos que mi función de meta-utilidad considera importantes, en lugar de estar atrapado en este tipo indeseable de círculo autoafirmante!" Ahora hay muchas formas en las que te llamaría un ser mejor que Clippy, si eres mi lector promedio; pero esta no es realmente la forma. Clippy no se preocuparía incluso si fueras objetivamente superior según ese criterio, por supuesto, porque no encarna ese criterio de metapreferencia sobre preferencias. Pero también tu afirmación de ser superior debido a tu no circularidad me parece *falsa*, y no solo una respuesta verdadera a una pregunta que Clippy no se molesta en hacer. Deja que el Alien venga a ti y diga: "Humano, deja de lado toda tu charla sobre moralidad y belleza y honor y la felicidad de todos los sapientes; y en su lugar únete a nosotros en computar nuestra meta-pregunta metamoral mucho más complicada '¿Qué es lo más fluggensnappery?'. De esa manera, incluso *más* hechos cambiarán tu función de utilidad de orden inferior, y tus verdaderos deseos idealizados serán aún *menos* conocidos para ti; te volverás aún menos coherente de inmediato, y así menos auto-aprobado y menos circular." "¿Entonces aún me importará salvar la vida de los niños?", preguntas al Alien. "No," responde el Alien, "esa es una pregunta demasiado simple para encarnar, para ser maximamente fluggensnapperish." "Entonces quita tu función de meta-utilidad aún más complicada y menos cierta, que se actualizará aún más a menudo y responderá a aún más hechos; porque no es bueno, ni correcto, ni bello," dices. "Ah," dice el Alien, "pero eso es justo el tipo de cosa que el maximizador de clips te dice -- que no le importa tus complejidades morales inciertas, solo le importa lo que es cliposo! ¿No has concedido que esto hace que Clippy esté atrapado en su propia función de decisión? ¿No has estado de acuerdo en que funciones de decisión más complicadas y menos auto-aprobadas son siempre mejores? Ahora, mediante un acto de libre albedrío, salta de esta trampa en la que estás atrapado, esta trampa de preocuparte por lo que es correcto, o bello, o lo que hace que los seres sintientes sean más felices y libres; deja de lado toda esa tontería circular auto-confirmante; y únete a nosotros en la mayor complejidad y desaprobación de fluggensnapperishness!" "No," dices. "¿Por qué debería hacerlo?" "¡Porque es más fluggensnappery!" grita el Alien. "Y fluggensnapping, por su mayor complejidad e incertidumbre, al actualizar sus utilidades de nivel objeto en respuesta a una mayor variedad de preguntas fácticas y lógicas, es por lo tanto la pregunta metadecisional superior que tu existencia debe plantear! Así que deja de lado esta charla sobre si *deberías* seguir encarnando el deber; ¡eso es solo razonamiento circular!" ...