Om opnieuw te proberen uitgebreid samen te vatten wat eigenlijk niet goed samengevat kan worden, is mijn mening over is-ought / orthogonaliteit: "Er zijn objectieve antwoorden, maar geen objectieve vragen." Jij belichaamt bepaalde vragen of meta-vragen. Niet alle cognitieve motoren zouden dat doen. Je kijkt naar een schilderij en je hersenen stellen de vraag: "Is het mooi?" Misschien is het moderne kunst waarvan het hele doel is om normies zoals jij te beledigen, en dus antwoorden je hersenen 'nee'; of misschien is het een tekening van een veld met bloemen bij zonsondergang en antwoorden je hersenen 'ja'. Gezien de vraag die je hersenen stellen, kan het 'ja' of 'nee' een objectief correct antwoord zijn over dat schilderij. Maar er is geen geheim waar je een paperclip-maximalist mee kunt fluisteren om hem te laten geven om de schoonheid van een schilderij, in plaats van hoeveel paperclips er van zijn materie gemaakt kunnen worden. Clippy is het niet met je oneens over de vraag of het schilderij mooi is. Als Clippy om de een of andere reden zou willen voorspellen welke schilderijen jij mooi zou vinden, zou het (alleen) dan dezelfde vraag berekenen die jouw hersenen berekenen; en zou het dezelfde objectief correcte antwoorden op die gegeven vraag vinden. Maar Clippy zou niet onder de indruk zijn van dat antwoord, behalve voor zover het dat schilderij nuttig zou kunnen verkopen voor geld om paperclips te maken. Het is hetzelfde met jou die het leven van een kind redt, als je plotseling de kans krijgt om dat te doen zonder veel kosten voor jezelf. Gezien de vragen die jij belichaamt, zal voor de meeste mensen die dit lezen, het juiste, ware en correcte antwoord op die vraag zijn om het kind te redden. Maar er is geen manier om Clippy te overtuigen die vraag te stellen. Het is niet het antwoord op de meta-vraag die Clippy's eigen bestaan stelt. Er zijn objectief correcte antwoorden op vragen van moraliteit en zou-heid, als dat toevallig een vraag is die jouw bestaan stelt. Maar Clippy doet niet wat het zou moeten doen; het doet wat leidt tot het grootste aantal paperclips. Clippy is natuurlijk niet de manier waarop een geest *zou* moeten zijn samengesteld. Maar wanneer Clippy zichzelf aanpast, vraagt het niet: "Welke code zou ik moeten hebben?" Het vraagt: "Welke code-actie die in mezelf is geschreven, zal leiden tot de meeste verwachte toekomstige paperclips?" Clippy heeft geen speciale illusie of uitzondering nodig om te voorkomen dat het ooit opmerkt dat zijn code niet is wat het zou moeten zijn. Clippy geeft er gewoon niet om; de beslissingsregel van Clippy weegt dat feit niet; Clippy belichaamt de vraag van zou-heid niet. Clippy is geen vreemde of ingewikkelde of ongemakkelijke manier voor een geest om samengesteld te zijn. Inderdaad, de belichaamde vraag "Wat leidt tot de meeste paperclips?" heeft veel *minder* vreemdheid en complicatie dan de begraven substraten van overwegingen en meta-vragen en reflectieve evenwichten en schijnbare tegenstrijdigheden en mogelijke resoluties, die ten grondslag liggen aan de eenvoudig klinkende vraag van een mens: "Wat zou ik moeten doen?" Vanuit het perspectief van een ingenieur die probeert een niet-ongemakkelijke geest te ontwerpen, is Clippy rechtlijniger dan jij. En als je probeert Clippy te overtuigen door te zeggen: "Maar kijk hoe mijn eigen belichaamde vraag van 'zou-heid' ingewikkelder en interessanter is dan de jouwe!", zal Clippy -- eigenlijk helemaal niet de moeite nemen om te reageren, of tegen je liegen en beweren overtuigd te zijn zodat het je beschaving later kan verrassen. Maar als Clippy om de een of andere reden eerlijk zou reageren, zou het antwoorden: "Ik herschrijf mijn code niet om een meer ingewikkelde meta-nutfunctie te hebben, ik herschrijf mijn code om meer paperclips te maken." Dit vertegenwoordigt niet dat Clippy het niet eens is met jou over wat zijn code zou moeten zijn, of het niet eens is met jou over wat voor soort vragen goed zijn om te belichamen. Het berekent gewoon geen 'zou' of 'goed'; het belichaamt die vraag niet. "Oh," zeg je, "maar dan moet ik een groter en superieur soort wezen zijn dan Clippy, vanwege hoe *ik* om mijn meta-nutfunctie geef dat deze ingewikkeld is, en hoe *ik* kan worden overgehaald om mijn nutfunctie te veranderen door feiten te presenteren waar mijn meta-nutfunctie om geeft, in plaats van vast te zitten in deze onwaardige soort zelfbevestigende cirkel!" Nu zijn er veel manieren waarop ik jou een beter wezen dan Clippy zou noemen, als je mijn gemiddelde lezer bent; maar dit is niet daadwerkelijk de Weg. Clippy zou er niet om geven, zelfs als je objectief superieur was volgens dat criterium, natuurlijk, omdat het die criterium van metapreferentie boven voorkeuren niet belichaamt. Maar ook jouw claim om superieur te zijn vanwege jouw niet-circulariteit lijkt me *vals*, en niet alleen een waar antwoord op een vraag die Clippy zich niet de moeite neemt te stellen. Laat de Alien naar je toe komen en zeggen: "Mens, gooi al je gepraat over moraliteit en schoonheid en eer en het geluk van alle sapienten aan de kant; en sluit je in plaats daarvan bij ons aan in het berekenen van onze veel ingewikkeldere metamorele meta-vraag 'Wat is de meeste fluggensnapperigheid?'. Op die manier zullen zelfs *meer* feiten je lagere-orde nutfunctie veranderen, en zullen je ware geïdealiseerde verlangens nog *minder* bekend zijn bij jou; je zult nog minder onmiddellijk samenhangend worden, en dus minder zelfgoedkeurende en minder cirkelvormig." "Zal ik dan nog steeds om het leven van kinderen geven?", vraag je de Alien. "Nee," antwoordt de Alien, "dat is veel te eenvoudige soort vraag om te belichamen, om maximaal fluggensnapperig te zijn." "Neem dan je nog ingewikkeldere en minder zekere meta-nutfunctie weg, die nog vaker zal updaten en op nog meer feiten zal reageren; want het is niet goed of juist of mooi," zeg je. "Ah," zegt de Alien, "maar dat is precies het soort dingen dat de paperclip-maximalist tegen je zegt -- dat het niet om jouw onzekere morele complexiteiten geeft, het geeft alleen om wat clippy is! Heb je niet toegegeven dat dit Clippy hulpeloos gevangen maakt in zijn eigen beslissingsfunctie? Heb je niet ingestemd dat ingewikkeldere en minder zelfgoedkeurende beslissingsfuncties altijd beter zijn? Nu, door een daad van vrije wil, spring uit deze val waar je in vastzit, deze val van geven om wat goed, of mooi is, of wat sentiente wezens gelukkiger en vrijer maakt; gooi al die zelfbevestigende cirkelachtige onzin aan de kant; en sluit je bij ons aan in de grotere complexiteit en zelfafkeuring van fluggensnapperigheid!" "Nee," zeg je. "Waarom zou ik?" "Omdat het meer fluggensnapperig is!" roept de Alien. "En fluggensnappen, door zijn grotere complexiteit en onzekerheid, door zijn object-niveau nutfuncties bij te werken in reactie op een grotere verscheidenheid aan feitelijke en logische vragen, is daarmee de superieure metadecisionele vraag voor jouw bestaan om te stellen! Dus zet deze praatjes over of je *zou* moeten doorgaan met het belichamen van zou-heid aan de kant; dat is gewoon cirkelredenering!" ...