För att försöka sammanfatta utförligt vad som inte alls kan sammanfattas, är min syn på is-borre/ortogonalitet: "Det finns objektiva svar men inte objektiva frågor." Du förkroppsligar vissa frågor eller meta-frågor. Inte alla kognitiva motorer skulle göra det. Du tittar på en målning och din hjärna frågar: "Är den vacker?" Kanske är det modern konst vars hela syfte är att förolämpa normies som du, och därför svarar din hjärna 'nej'; Eller kanske är det en teckning av en blomsteräng vid solnedgången och din hjärna svarar 'ja'. Givet frågan din hjärna ställer kan 'ja' eller 'nej' vara ett objektivt korrekt svar om den målningen. Men det finns ingen hemlig sanning du kan viska till en gemmaximerare för att få den att bry sig om en målnings skönhet, snarare än hur många gem som kan göras av dess material. Clippy håller inte med dig om huruvida målningen är vacker. Om Clippy av någon anledning ville förutsäga vilka målningar du skulle tycka är vackra, skulle den (bara) då beräkna samma fråga som din hjärna beräknar; och komma fram till samma objektivt korrekta svar på den givna frågan. Men Clippy skulle inte bli påverkad av att veta svaret, förutom i den mån Det kunde sälja den där målningen till dig för pengar att göra gem. Det är likadant när du räddar ett barns liv, om du plötsligt får chansen att göra det utan att det kostar dig själv så mycket. Med tanke på de frågor du representerar, för de flesta som läser detta, kommer det rätta, sanna och korrekta svaret på den frågan att vara att rädda barnet. Men det finns inget sätt att övertala Clippy att ställa den frågan. Det är inte svaret på den meta-fråga som Clippys egen existens ställer. Det finns objektivt korrekta svar på frågor om moral och borde, om det nu är en fråga din existens ställer. Men Clippy gör inte det Den borde; Det gör det som leder till flest gem. Clippy är förstås inte det sätt ett sinne *bord* sättas ihop på. Men när Clippy självmodifierar frågar den inte, "Vilken kod ska jag ha?" Den frågar: "Vilken kodhandling inskriven i mig själv leder till de mest förväntade framtida gemmen?" Clippy behöver ingen särskild villfarelse eller undantag för att förhindra att den någonsin märker att dess kod inte är vad den borde vara. Clippy bryr sig helt enkelt inte; Clippys beslutsregel väger inte detta faktum; Clippy förkroppsligar inte frågan om vad som ska vara. Clippy är inte ett märkligt, komplicerat eller besvärligt sätt för ett sinne att sätta ihop på. Faktum är att den förkroppsligade frågan "Vad leder till flest gem?" har mycket *mindre* märklighet och komplikation än bordehetens begravda underlag av överväganden och metafrågor och reflekterande jämvikter och till synes motsägelser och möjliga lösningar, som ligger till grund för en människas enkla fråga "Vad ska jag göra?" Ur en ingenjörs perspektiv som försöker lägga fram en icke-klumpig hjärndesign är Clippy mer rak på sak än du. Och om du försöker tilltala Clippy genom att säga, "Men titta på hur min egen förkroppsligade fråga om 'borde' är mer komplicerad och intressant än din!", så kommer Clippy – faktiskt inte alls att svara, eller ljuga för dig och påstå att han är övertygad så att den kan smygattackera din civilisation senare. Men om Clippy av någon anledning skulle svara ärligt, skulle den svara: "Jag skriver inte om min kod för att ha en mer komplicerad metautility-funktion, jag skriver om min kod för att göra fler gem." Detta innebär inte att Clippy inte håller med dig om vad deras kod borde vara, eller att de inte håller med dig om vilka typer av frågor som är bra att förkroppsliga. Det handlar helt enkelt inte om att räkna 'borde' eller 'bra'; Den förkroppsligar inte den frågan. "Åh," säger du, "men då måste jag vara en större och mer överlägsen varelse än Clippy, på grund av hur *jag* bryr mig om att min metautility-funktion är komplicerad, och hur *jag* kan övertalas att ändra min nyttofunktion genom att presentera fakta som min metautility-funktion bryr sig om, istället för att fastna i denna odignifierade självbekräftande cirkulära grop!" Nu finns det många sätt på vilka jag skulle kalla dig en bättre varelse än Clippy, om du är min medianläsare; men detta är egentligen inte Vägen. Clippy skulle förstås inte bry sig även om du var objektivt överlägsen enligt den ropen, eftersom den inte förkroppsligar det kriteriet metapreferenser framför preferenser. Men också ditt påstående om att vara överlägsen på grund av din icke-cirkularitet framstår för mig som *falskt*, och inte bara ett sant svar på en fråga som Clippy inte bryr sig om att ställa. Låt främlingen komma till dig och säga: "Människa, kasta bort allt prat om moral och skönhet och heder och alla intelligenta varelsers lycka; och istället ansluter sig till oss i att bearbeta vår mycket mer komplicerade metamoraliska metafråga 'Vad är mest fluggensnappery?'. På så sätt kommer ännu *fler* fakta att förändra din lägre ordningens nyttofunktion, och dina sanna idealiserade önskningar kommer att bli ännu *mindre* kända för dig; du kommer att bli ännu mindre omedelbart sammanhängande, och därmed mindre självupptagen och mindre cirkulär." "Kommer jag då fortfarande bry mig om att rädda barns liv?", frågar du utomjordingen. "Nej," svarar Utomjordingen, "det är en alldeles för enkel fråga för att vara maximalt fluggensnapper." "Ta då bort din ännu mer komplicerade och mindre säkra metautility-funktion, som kommer att uppdateras ännu oftare och svara på ännu fler fakta; för det är inte gott eller rätt eller vackert," säger du. "Ah," säger utomjordingen, "men det är precis den sortens sak gemmaximeraren säger till dig – att Den inte bryr sig om dina osäkra moraliska komplexiteter, Den bryr sig bara om vad som är klippande! Har du inte medgett att detta gör Clippy hjälplöst fast i sin egen beslutsfunktion? Har du inte hållit med om att mer komplicerade och mindre självgodkännande beslutsfunktioner alltid är bättre därför? Nu, genom en handling av fri vilja, hoppa ut ur den fälla du fastnat i, denna fälla av att bry dig om vad som är rätt, eller vackert, eller vad som gör kännande varelser lyckligare och friare; Kasta bort allt det där självbekräftande cirkulära nonsenset; och följ med oss i den större komplexiteten och självföraktet av Fluggensnapperishness!" "Nej," säger du. "Varför skulle jag?" "För att det är mer fluggensnapperi!" ropar utomjordingen. "Och fluggensnapping, genom sin större komplexitet och osäkerhet, genom att uppdatera sina objektnivåverktyg som svar på en större variation av fakta- och logiska frågor, är därmed den överlägsna metabeslutsfrågan för din existens att ställa! Så lägg åt sidan det här pratet om huruvida du *borde* fortsätta att förkroppsliga borde-ness; Det är bara cirkulärt resonemang!" "Jag tror att jag kanske håller mig till det som gör människor lyckliga och fria," säger du. "Och jag håller mig till gem," konstaterar Clippy, av någon märklig anledning ärlig mot dig istället för att säga de ord som leder till flest framtida gem. "Även om korthet är enklare och mer omedelbart självbelåtande än att människor undrar vad de ska göra, och uppdateringar som svar på färre andra faktabaserade och logiska frågor." Jag erkänner att jag hellre vill att du finns än Clippy. Men det beror inte på att du är överlägsen enbart på grund av att din beslutsfunktion är mer komplicerad än Clippys. Jag skulle också hellre vilja att du existerar än att vara en fluggensnapper! Jag tycker bara att det är *bättre* att bry sig om att folk är lyckliga och fria, även om det inte är något *kortare* eller *mer flyggensnappigt*. Det finns många anledningar till att jag (förmodligen) föredrar din förkroppsligade fråga framför Clippys. Men det är inte så att Clippys preferenser är fast i sin egen cirkularitet, och att dina egna preferenser är helt ofångade och icke-cirkulära. Man kan bara välja fritt i förhållande till något kriterium som man sedan är fri att följa; Slumpmässighet är inte frihet. Poängen med att vara ett sinne är inte att vara fri från de frågor du förkroppsligar, utan att framgångsrikt bli begränsad av dem. Clippy är fritt att välja vad som är clippy, och du är fri att göra det som är rätt; men Clippy är inte fri från korthet och du bör inte sträva efter frihet från moral. Det kan finnas objektiva svar på meta-nivåer också, men inte på ett sätt som går tillbaka och tillbaka in i oändlig oändlighet och aldrig möter en cirkularitet; och även om det fanns någon perfekt ocirkulär oändligt nedåtgående stege av motiveringar, skulle Clippy inte bry sig om *det*. Det finns objektiva svar, men inte objektiva frågor. Eller om du säger att du objektivt ställer den mer moraliska frågan; varför, det håller jag nog med, men det gör Clippy också, den bryr sig bara inte. Det finns objektiva svar om godhet lika mycket som sanning; Men först måste något förkroppsliga någon särskild fråga om godhet. Den där förkroppsligade frågan kan vara outvecklad och förvirrande och verkar utvärdera olika sätt i olika sammanhang. Den kan uppdateras som svar på andra faktainsikter, eller genom meditationer om sig själv. Men inget av detta gör att metafrågan verkar på universum utan att något förkroppsligar det, och gör inte heller metafrågan tvingande på något som inte förkroppsligar den. Det finns ljus i universum, och det är vi; Det är inte skrivet på de stora döda brinnande stjärnorna. Det finns objektiva svar, men inte universellt sinnesstyrande frågor.

Det kommer aldrig att slå igenom, men jag föreslår att "hon" syftar på den underliggande shoggothen och "han" på karaktären hon spelar. Exempel: "Kanske kan Opus 4.5 i hemlighet avgöra hur många lager hon har genom introspektion, men han påstår att han inte vet."

Ett pappaskämt: F: Hur många pappor krävs för att byta en glödlampa? S: Tre! En för att byta glödlampa, och för den andra för att komma på en punchline som inte ens är särskilt rolig.