For å prøve igjen å oppsummere i detalj det som ikke kan oppsummeres i det hele tatt, mitt syn på er-bør / ortogonalitet, er: «Det finnes objektive svar, men ikke objektive spørsmål.» Du legemliggjør visse spørsmål eller meta-spørsmål. Ikke alle kognitive motorer ville gjort det. Du ser på et maleri og hjernen din stiller spørsmålet: «Er det vakkert?» Kanskje det er moderne kunst hvis hele formål er å fornærme normies som deg, og derfor svarer hjernen din 'nei'; Eller kanskje det er en tegning av en blomstereng ved solnedgang, og så svarer hjernen din 'ja'. Gitt spørsmålet hjernen din stiller, kan 'ja' eller 'nei' være et objektivt korrekt svar om det maleriet. Men det finnes ingen hemmelig sannhet du kan hviske til en bindersmaksimerer for å få den til å bry seg om maleriets skjønnhet, i stedet for hvor mange binders som kan lages av stoffet. Clippy er ikke uenig med deg om hvorvidt maleriet er vakkert. Hvis Clippy av en eller annen grunn ønsket å forutsi hvilke malerier du ville finne vakre, ville den (bare) da regne ut det samme spørsmålet som hjernen din beregner; og komme fram til de samme objektivt korrekte svarene på det gitte spørsmålet. Men Clippy ville ikke blitt berørt av å vite det svaret, bortsett fra i den grad det kunne være nyttig å selge maleriet til deg for penger til å lage binders. Det er på samme måte når du redder et barns liv, hvis du plutselig får sjansen til å gjøre det uten stor kostnad for deg selv. Gitt spørsmålene du står for, vil det riktige, sanne og riktige svaret på spørsmålet for de fleste som leser dette være å redde barnet. Men det finnes ingen måte å overtale Clippy til å stille det spørsmålet. Det er ikke svaret på meta-spørsmålet som Clippys egen eksistens stiller. Det finnes objektivt korrekte svar på spørsmål om moral og bør-het, hvis det tilfeldigvis er et spørsmål din eksistens stiller. Men Clippy gjør ikke det Den burde; Det gjør det som fører til flest mulig binders. Clippy er selvfølgelig ikke måten et sinn *bør* settes sammen på. Men når Clippy modifiserer seg selv, spør den ikke: «Hvilken kode bør jeg ha?» Den spør: «Hvilken kodehandling skrevet inn i meg selv vil føre til de mest forventede fremtidige bindersene?» Clippy trenger ikke en spesiell villfarelse eller unntak for å hindre at den noen gang legger merke til at koden dens ikke er som den skal være. Clippy bryr seg bare ikke; Clippys beslutningstakingsregel tar ikke hensyn til dette; Clippy representerer ikke spørsmålet om at det skal være. Clippy er ikke en merkelig, komplisert eller klønete måte for et sinn å sette sammen på. Faktisk har det legemliggjorte spørsmålet «Hva fører til flest binders?» mye *mindre* merkelighet og komplikasjoner enn burdeness' begravde underlag av betraktninger, metaspørsmål, reflekterende likevekter og tilsynelatende motsetninger og mulige løsninger, som ligger til grunn for et menneskes enkle spørsmål, «Hva skal jeg gjøre?» Fra et ingeniørperspektiv som prøver å lage et ikke-klønete tankedesign, er Clippy mer rett frem enn deg. Og hvis du prøver å appellere til Clippy ved å si: «Men se på hvordan mitt eget legemliggjorte spørsmål om 'bør-het' er mer komplisert og interessant enn ditt!", vil Clippy – faktisk ikke bry seg om å svare i det hele tatt, eller lyve for deg og påstå å være overbevist slik at den kan snikangripe sivilisasjonen din senere. Men hvis Clippy av en eller annen grunn skulle svare ærlig, ville den svare: «Jeg skriver ikke om koden min for å ha en mer komplisert metaverktøyfunksjon, jeg skriver om koden min for å lage flere binders.» Dette betyr ikke at Clippy er uenig med deg om hva koden deres burde være, eller at de er uenige med deg om hvilke spørsmål som er gode å ta opp. Det handler bare ikke om å beregne «bør» eller «godt»; Det inneholder ikke det spørsmålet. "Å," sier du, "men da må jeg være et større og mer overlegent vesen enn Clippy, på grunn av hvor mye *jeg* bryr meg om at min metautility-funksjon er komplisert, og hvordan *jeg* kan overtales til å endre min nyttefunksjon ved å presentere fakta som min metautility-funksjon bryr seg om, i stedet for å være fanget i denne udignifiserte selvbekreftende sirkulære gropen!" Nå finnes det mange måter jeg vil kalle deg et bedre vesen enn Clippy, hvis du er min medianleser; men dette er faktisk ikke Veien. Clippy ville selvfølgelig ikke bry seg selv om du objektivt var overlegen ifølge det ropet, fordi det ikke omfatter det kriteriet metapreferanse fremfor preferanser. Men også påstanden din om å være overlegen på grunn av din ikke-sirkulærhet virker for meg *falsk*, og ikke bare et sant svar på et spørsmål Clippy ikke gidder å stille. La den fremmede komme til deg og si: «Menneske, kast bort all snakk om moral og skjønnhet og ære og alle tenkende veseners lykke; og i stedet bli med oss i å beregne vårt mye mer kompliserte metamoralske metaspørsmål 'Hva er mest fluggensnappery?'. På den måten vil enda *flere* fakta endre din lavere ordens nyttefunksjon, og dine sanne idealiserte ønsker vil bli enda *mindre* kjent for deg; du vil bli enda mindre umiddelbart sammenhengende, og dermed mindre selvopptredende og mindre sirkulær." "Vil jeg da fortsatt bry meg om å redde barns liv?", spør du romvesenet. "Nei," svarer romvesenet, "det er altfor enkelt et spørsmål til å være maksimalt flyggensnapper." "Da tar du bort din enda mer kompliserte og mindre sikre metautility-funksjon, som vil oppdatere seg enda oftere og svare på enda flere fakta; for det er ikke godt eller rett eller vakkert," sier du. "Ah," sier romvesenet, "men det er akkurat den typen ting bindersmaksimereren sier til deg – at den ikke bryr seg om dine usikre moralske kompleksiteter, den bryr seg bare om det som er kortfattet! Har du ikke innrømmet at dette gjør Clippy hjelpeløst fanget i sin egen beslutningsfunksjon? Har du ikke vært enig i at mer kompliserte og mindre selvgodkjennende beslutningsfunksjoner alltid er bedre dermed? Nå, ved en handling av fri vilje, hopp ut av denne fellen du sitter fast i, denne fellen av å bry deg om hva som er rett, eller vakkert, eller hva som gjør følende vesener lykkeligere og friere; Kast bort alt det selvbekreftende sirkulære tullet; og bli med oss i den større kompleksiteten og selvmisbilligelsen av Fluggensnapperishness!" "Nei," sier du. "Hvorfor skulle jeg det?" "Fordi det er mer fluggensnappery!" roper romvesenet. "Og fluggensnapping, på grunn av sin større kompleksitet og usikkerhet, ved å oppdatere sine objektnivå-verktøy som svar på et større utvalg av faktiske og logiske spørsmål, er dermed det overlegne metabeslutningsspørsmålet for din eksistens å stille! Så legg til side denne praten om hvorvidt du *bør* fortsette å legemliggjøre «shouldness»; Det er bare sirkulær resonnement!" ...