Untuk mencoba lagi meringkas panjang lebar apa yang tidak dapat diringkas sama sekali, pandangan saya tentang is-ought / orthogonality, adalah: "Ada jawaban objektif tetapi bukan pertanyaan objektif." Anda mewujudkan pertanyaan atau meta-pertanyaan tertentu. Tidak semua mesin kognitif akan melakukannya. Anda melihat lukisan dan otak Anda mengajukan pertanyaan, "Apakah itu indah?" Mungkin itu adalah seni modern yang seluruh tujuannya adalah untuk menyinggung norma seperti Anda, sehingga otak Anda menjawab 'tidak'; Atau mungkin itu gambar ladang bunga saat matahari terbenam sehingga otak Anda menjawab 'ya'. Mengingat pertanyaan yang diajukan otak Anda, 'ya' atau 'tidak' mungkin merupakan jawaban yang benar secara objektif tentang lukisan itu. Tetapi tidak ada kebenaran rahasia yang dapat Anda bisikkan kepada pemaksimal penjepit kertas untuk membuatnya peduli dengan keindahan lukisan, daripada berapa banyak penjepit kertas yang dapat dibuat dari materinya. Clippy tidak tidak setuju dengan Anda tentang apakah lukisan itu indah. Jika karena alasan tertentu Clippy ingin memprediksi lukisan mana yang menurut Anda indah, Itu akan (hanya) kemudian menghitung pertanyaan yang sama yang dihitung otak Anda; dan sampai pada jawaban yang benar secara objektif yang sama untuk pertanyaan yang diberikan itu. Tapi Clippy tidak akan tergerak dengan mengetahui jawaban itu, kecuali sejauh itu dapat menjual lukisan itu kepada Anda untuk mendapatkan uang untuk membuat penjepit kertas. Sama halnya dengan Anda menyelamatkan nyawa seorang anak, jika Anda tiba-tiba memiliki kesempatan untuk melakukannya dengan biaya yang tidak banyak untuk diri sendiri. Mengingat pertanyaan-pertanyaan yang Anda wujudkan, bagi kebanyakan orang yang membaca ini, jawaban yang benar dan benar untuk pertanyaan itu adalah menyelamatkan anak. Tapi tidak ada cara untuk membujuk Clippy untuk mengajukan pertanyaan itu. Ini bukan jawaban atas meta-pertanyaan yang diajukan oleh keberadaan Clippy sendiri. Ada jawaban yang benar secara objektif untuk pertanyaan tentang moralitas dan keharusan, jika itu adalah pertanyaan yang diajukan keberadaan Anda. Tapi Clippy tidak melakukan apa yang seharusnya; Itu melakukan apa yang mengarah ke jumlah penjepit kertas terbesar. Clippy tentu saja bukan cara pikiran *seharusnya* disatukan. Tetapi ketika Clippy memodifikasi sendiri, Itu tidak bertanya, "Kode apa yang harus saya miliki?" Itu bertanya, "Tindakan kode apa yang ditulis ke dalam diri saya sendiri yang akan mengarah pada klip kertas masa depan yang paling diharapkan?" Clippy tidak memerlukan khayalan atau pengecualian khusus untuk mencegahnya menyadari bahwa kodenya tidak seperti yang seharusnya. Clippy tidak peduli; Aturan pengambilan keputusan Clippy tidak menimbang fakta itu; Clippy tidak mewujudkan pertanyaan tentang keharusan. Clippy bukanlah cara yang aneh atau rumit atau canggung bagi pikiran untuk disatukan. Memang, pertanyaan yang terkandung "Apa yang mengarah pada penjepit kertas yang paling banyak?" memiliki keanehan dan komplikasi yang jauh lebih sedikit, daripada substrat pertimbangan dan metapertanyaan yang terkubur dan keseimbangan reflektif dan kontradiksi yang tampak dan kemungkinan resolusi, seperti yang mendasari pertanyaan manusia yang terdengar sederhana, "Apa yang harus saya lakukan?" Dari sudut pandang seorang insinyur yang mencoba meletakkan desain pikiran yang tidak canggung, Clippy lebih lugas daripada Anda. Dan jika Anda mencoba menarik Clippy dengan mengatakan, "Tapi lihatlah bagaimana pertanyaan saya sendiri tentang 'keharusan' lebih rumit dan menarik daripada Anda!", Clippy sebenarnya tidak akan repot-repot menanggapi sama sekali, atau berbohong kepada Anda dan mengaku yakin sehingga Clippy dapat menyelinap menyerang peradaban Anda akhirnya. Tetapi jika Clippy karena alasan tertentu menanggapi dengan jujur, Itu akan menjawab, "Saya tidak menulis ulang kode saya untuk memiliki fungsi metautilitas yang lebih rumit, saya menulis ulang kode saya untuk membuat lebih banyak penjepit kertas." Ini tidak berarti Clippy tidak setuju dengan Anda tentang apa kodenya seharusnya, atau tidak setuju dengan Anda tentang pertanyaan seperti apa yang baik untuk diwujudkan. Itu hanya bukan komputasi 'seharusnya' atau 'baik'; Itu tidak mewujudkan pertanyaan itu. "Oh," kata Anda, "tetapi kemudian saya harus menjadi makhluk yang lebih besar dan lebih unggul daripada Clippy, karena bagaimana *saya* peduli tentang fungsi metautilitas saya yang rumit, dan bagaimana *saya* dapat diajak untuk mengubah fungsi utilitas saya dengan menyajikan fakta-fakta yang dipedulikan oleh fungsi metautilitas saya, daripada terjebak dalam semacam lubang melingkar yang menegaskan diri yang tidak bermartabat ini!" Sekarang ada banyak cara di mana saya akan memanggil Anda makhluk yang lebih baik daripada Clippy, jika Anda adalah pembaca rata-rata saya; tetapi ini sebenarnya bukan Jalan. Clippy tidak akan peduli bahkan jika Anda secara objektif lebih unggul menurut crierion itu, tentu saja, karena Itu tidak mewujudkan kriteria metareferensi atas preferensi. Tetapi juga klaim Anda untuk menjadi lebih unggul karena non-sirkularitas Anda mengejutkan saya sebagai *salah*, dan bukan hanya jawaban yang benar untuk pertanyaan yang tidak repot-repot ditanyakan oleh Clippy. Biarkan Alien datang kepadamu dan berkata: "Manusia, singkirkan semua pembicaraanmu tentang moralitas dan keindahan dan kehormatan dan kebahagiaan semua orang yang berkuasa; dan sebaliknya bergabung dengan kami dalam menghitung metapertanyaan metamoral kami yang jauh lebih rumit 'Apa yang paling fluggensnappery?'. Dengan begitu, bahkan *lebih banyak* fakta akan mengubah fungsi utilitas tingkat rendah Anda, dan keinginan ideal Anda yang sebenarnya akan bahkan *kurang* diketahui oleh Anda; Anda akan menjadi kurang koheren secara langsung, dan dengan demikian kurang menyetujui diri sendiri dan kurang melingkar." "Apakah saya masih peduli untuk menyelamatkan nyawa anak-anak?", Anda bertanya kepada Alien. "Tidak," jawab Alien, "itu adalah semacam pertanyaan yang terlalu sederhana untuk diwujudkan, untuk menjadi sangat fluggensnapperish." "Kemudian singkirkan fungsi metautilitas Anda yang lebih rumit dan kurang pasti, yang akan diperbarui lebih sering dan menanggapi lebih banyak fakta; karena itu tidak baik atau benar atau indah," kata Anda. "Ah," kata Alien, "tapi itu hanya semacam hal yang dikatakan pemaksimal penjepit kertas kepadamu -- bahwa Ia tidak peduli dengan kompleksitas moralmu yang tidak pasti, Ia hanya peduli tentang apa yang clippy! Tidakkah Anda mengakui bahwa ini membuat Clippy terjebak tanpa daya dalam fungsi keputusannya sendiri? Bukankah Anda setuju bahwa fungsi keputusan yang lebih rumit dan kurang menyetujui diri sendiri selalu dengan demikian lebih baik? Sekarang dengan tindakan kehendak bebas, lompat keluar dari perangkap yang Anda terjebak ini, jebakan kepedulian tentang apa yang benar, atau indah, atau apa yang membuat makhluk hidup menjadi lebih bahagia dan lebih bebas; mengesampingkan semua omong kosong melingkar yang menegaskan diri itu; dan bergabunglah dengan kami dalam kompleksitas yang lebih besar dan ketidaksetujuan diri dari fluggensnapperishness!" "Tidak," kata Anda. "Mengapa saya harus?" "Karena itu lebih fluggensnappery!" teriak Alien. "Dan fluggensnapping, dengan kompleksitas dan ketidakpastiannya yang lebih besar, dengan memperbarui utilitas tingkat objeknya sebagai tanggapan terhadap lebih banyak variasi pertanyaan faktual dan logis, dengan demikian adalah pertanyaan metadecisional yang unggul untuk ditanyakan oleh keberadaan Anda! Jadi kesampingkan pembicaraan ini tentang apakah Anda *harus* terus mewujudkan keharusan; Itu hanya penalaran melingkar!" ...