Pentru a încerca din nou să rezum pe larg ceea ce nu poate fi rezumat deloc, opinia mea despre este-ar trebui / ortogonalitatea este: "Există răspunsuri obiective, dar nu întrebări obiective." Întruchipezi anumite întrebări sau meta-întrebări. Nu toate motoarele cognitive ar face asta. Te uiți la o pictură și creierul tău îți pune întrebarea: "Este frumoasă?" Poate că este artă modernă al cărei scop principal este să jignească normalii ca tine, iar creierul tău răspunde "nu"; Sau poate este un desen cu un câmp de flori la apus și creierul tău răspunde "da". Având în vedere întrebarea pe care o pune creierul tău, "da" sau "nu" poate fi un răspuns obiectiv corect despre acea pictură. Dar nu există un adevăr secret pe care să-l poți șopti unui maximizator de agrafe pentru a-l face să țină cont de frumusețea unei picturi, nu de câte agrafe pot fi făcute din materia ei. Clippy nu este în dezacord cu tine în privința faptului că pictura este frumoasă. Dacă, dintr-un motiv oarecare, Clippy ar vrea să prezică ce picturi ai găsi frumoase, ar procesa (doar) aceeași întrebare pe care creierul tău o calculează; și ajung la aceleași răspunsuri obiectiv corecte la acea întrebare. Dar Clippy nu ar fi impresionat să afle acel răspuns, cu excepția cazului în care ar putea să-ți vândă acea pictură pentru bani ca să faci agrafe. Este la fel și când salvezi viața unui copil, dacă brusc ai ocazia să faci asta fără prea mult cost pentru tine. Având în vedere întrebările pe care le întruchipezi, pentru majoritatea celor care citesc asta, răspunsul corect, adevărat și corect la acea întrebare va fi să salvezi copilul. Dar nu există nicio modalitate de a-l convinge pe Clippy să pună această întrebare. Nu este răspunsul la întrebarea meta pe care o pune existența lui Clippy. Există răspunsuri obiectiv corecte la întrebările despre moralitate și ar trebui, dacă aceasta este o întrebare pe care o pune existența ta. Dar Clippy nu face ceea ce ar trebui; Face ceea ce duce la cel mai mare număr de agrafe. Clippy nu este, desigur, modul în care o minte *ar trebui* să fie pusă cap la cap. Dar când Clippy se auto-modifică, nu întreabă: "Ce cod ar trebui să am?" Întreabă: "Ce acțiune de cod scrisă în mine va duce la cele mai așteptate agrafe de hârtie viitoare?" Clippy nu are nevoie de o iluzie specială sau o excepție pentru a-l împiedica să observe vreodată că codul său nu este ceea ce ar trebui să fie. Clippy pur și simplu nu-i pasă; Regula decizională a lui Clippy nu cântărește acest fapt; Clippy nu întruchipează întrebarea de a fi trebuit. Clippy nu este o modalitate ciudată, complicată sau stângace de a construi o minte. Într-adevăr, întrebarea întrupată "Ce duce la cele mai multe agrafe?" are mult *mai puțină* ciudățenie și complicație, decât substraturile îngropate de considerații, metaîntrebări, echilibre reflexive, contradicții aparent și posibile rezolvări, care stau la baza întrebării simplă a unui om: "Ce ar trebui să fac?" Din perspectiva unui inginer care încearcă să creeze un design mental nestângaci, Clippy este mai direct decât tine. Și dacă încerci să-l atragi pe Clippy spunând: "Dar uită-te cum întrebarea mea întrupată de 'ar trebui" este mai complicată și mai interesantă decât a ta!", Clippy nu se va obosi deloc să răspundă sau nu va minți și pretinde că este convins ca să poată ataca civilizația ta pe furiș mai târziu. Dar dacă Clippy, dintr-un motiv oarecare, ar răspunde sincer, ar răspunde: "Nu-mi rescriu codul ca să am o funcție de metautilitate mai complicată, ci îmi rescriu codul ca să fac mai multe agrafe." Aceasta nu înseamnă că Clippy nu este de acord cu tine despre ce ar trebui să fie codul său sau că nu este de acord cu tine despre ce fel de întrebări ar trebui să fie potrivite. Pur și simplu nu este vorba de a calcula "ar trebui" sau "bine"; Nu întruchipează această întrebare. "Oh," spui, "dar atunci trebuie să fiu o ființă mai mare și mai superioară decât Clippy, pentru că *mie* îmi pasă ca funcția mea de metautilitate să fie complicată și cum *eu* pot fi convins să-mi schimb funcția de utilitate prezentând fapte care contează funcția mea de metautilitate, în loc să fiu prins în acest fel de groapă circulară nedemnă de autoafirmare!" Acum, există multe moduri în care te-aș numi o ființă mai bună decât Clippy, dacă ești cititorul meu median; dar aceasta nu este de fapt Calea. Clippy nu i-ar păsa nici măcar dacă ai fi obiectiv superior conform acelui crierion, desigur, pentru că nu întruchipează acel criteriu al metappreferinței în detrimentul preferințelor. Dar, de asemenea, afirmația ta că ești superior din cauza noncircularității mi se pare *falsă*, și nu doar un răspuns adevărat la o întrebare pe care Clippy nu se obosește să o pună. Lasă Extraterestrul să vină la tine și să spună: "Omule, lasă deoparte toate discuțiile tale despre moralitate, frumusețe, onoare și fericirea tuturor ființelor inteligente; și, în schimb, alăturați-vă nouă în calcularea mult mai complicată a noastră meta-întrebare metamorală "Ce este cel mai fluggensnappery?" Astfel, și mai *multe* fapte îți vor schimba funcția de utilitate de ordin inferior, iar adevăratele tale dorințe idealizate vor fi și *mai puțin* cunoscute de tine; Vei deveni și mai puțin coerent imediat, deci mai puțin autoaprobator și mai puțin circular." "Atunci o să-mi mai pese să salvez viețile copiilor?", îl întrebi pe Extraterestru. "Nu," răspunde Extraterestrul, "este o întrebare mult prea simplă pentru a fi întruchipată, ca să fie maxim fluggensnapper." "Atunci ia-ți funcția de metautilitate și mai complicată și mai puțin sigură, care se va actualiza și mai des și va răspunde la și mai multe fapte; căci nu este bună, nici dreaptă, nici frumoasă," spui. "Ah," spune Extraterestrul, "dar asta e exact genul de lucru pe care ți-l spune maximizatorul de agrafe de hârtie – că nu-i pasă de complexitățile tale morale incerte, ci doar de ce e tăios! Nu ai recunoscut că asta îl face pe Clippy să fie neputincios în propria sa funcție de decizie? Nu ai fost de acord că funcțiile decizionale mai complicate și mai puțin autoaprobatoare sunt întotdeauna mai bune? Acum, printr-un act de liber arbitru, sari din această capcană în care ești prins, această capcană de a-ți păsa de ceea ce este corect, frumos sau ce face ființele inteligente mai fericite și mai libere; lasă deoparte toate prostiile alea circulare auto-confirmate; și alătură-te nouă în complexitatea și dezaprobarea de sine a fluggensnapperishness-ului!" "Nu," spui. "De ce aș face-o?" "Pentru că e mai fluggensnapper!" strigă Extraterestrul. "Iar fluggensnapping-ul, prin complexitatea și incertitudinea sa mai mare, prin actualizarea utilităților la nivel de obiect ca răspuns la o varietate mai mare de întrebări factuale și logice, este astfel întrebarea metadecizională superioară pe care existența voastră să o pună! Așadar, lasă deoparte această discuție despre dacă *ar trebui* să continui să întruchipezi ar trebui; Asta e doar un raționament circular!" ...