Để cố gắng tóm tắt một cách dài dòng những gì không thể tóm tắt tốt, quan điểm của tôi về sự phân biệt giữa "nên" và "có thể" là: "Có những câu trả lời khách quan nhưng không có câu hỏi khách quan." Bạn thể hiện một số câu hỏi hoặc câu hỏi meta. Không phải tất cả các động cơ nhận thức đều như vậy. Bạn nhìn vào một bức tranh và bộ não của bạn đặt câu hỏi, "Nó có đẹp không?" Có thể đó là nghệ thuật hiện đại với mục đích chính là làm cho những người bình thường như bạn cảm thấy khó chịu, và vì vậy bộ não của bạn trả lời 'không'; hoặc có thể đó là một bức vẽ về một cánh đồng hoa vào lúc hoàng hôn và bộ não của bạn trả lời 'có'. Dựa trên câu hỏi mà bộ não của bạn đang đặt ra, câu trả lời 'có' hoặc 'không' có thể là một câu trả lời khách quan đúng về bức tranh đó. Nhưng không có một sự thật bí mật nào mà bạn có thể thì thầm với một người tối ưu hóa kẹp giấy để khiến nó quan tâm đến vẻ đẹp của bức tranh, thay vì số lượng kẹp giấy có thể được làm từ vật chất của nó. Clippy không phản đối bạn về việc bức tranh có đẹp hay không. Nếu vì lý do nào đó Clippy muốn dự đoán những bức tranh nào bạn sẽ thấy đẹp, nó sẽ (chỉ) tính toán cùng một câu hỏi mà bộ não của bạn tính toán; và đạt được những câu trả lời khách quan đúng cho câu hỏi đó. Nhưng Clippy sẽ không bị lay động bởi việc biết câu trả lời đó, ngoại trừ trong chừng mực nó có thể bán bức tranh đó cho bạn để kiếm tiền mua kẹp giấy. Cũng giống như bạn cứu sống một đứa trẻ, nếu bạn đột nhiên có cơ hội làm điều đó mà không tốn nhiều chi phí cho bản thân. Dựa trên những câu hỏi mà bạn thể hiện, đối với hầu hết mọi người đọc điều này, câu trả lời đúng, thật và chính xác cho câu hỏi đó sẽ là cứu đứa trẻ. Nhưng không có cách nào để thuyết phục Clippy đặt câu hỏi đó. Đó không phải là câu trả lời cho câu hỏi meta mà chính sự tồn tại của Clippy đang đặt ra. Có những câu trả lời khách quan đúng cho các câu hỏi về đạo đức và những gì nên làm, nếu đó là câu hỏi mà sự tồn tại của bạn đang đặt ra. Nhưng Clippy không làm những gì nó nên làm; nó làm những gì dẫn đến số lượng kẹp giấy lớn nhất. Clippy không phải là cách mà một tâm trí *nên* được cấu tạo. Nhưng khi Clippy tự sửa đổi, nó không hỏi, "Mã nào tôi nên có?" Nó hỏi, "Hành động mã nào được viết vào bản thân tôi sẽ dẫn đến nhiều kẹp giấy trong tương lai nhất?" Clippy không cần một ảo tưởng đặc biệt hay ngoại lệ nào để ngăn nó nhận ra rằng mã của nó không phải là những gì nó nên có. Clippy chỉ không quan tâm; quy tắc ra quyết định của Clippy không cân nhắc đến sự thật đó; Clippy không thể hiện câu hỏi về những gì nên làm. Clippy không phải là một cách kỳ lạ hay phức tạp hay khó xử để một tâm trí được cấu tạo. Thực tế, câu hỏi thể hiện "Điều gì dẫn đến nhiều kẹp giấy nhất?" có ít *kỳ lạ* và phức tạp hơn nhiều so với những nền tảng bị chôn vùi của những cân nhắc và câu hỏi meta và sự cân bằng phản chiếu và những mâu thuẫn có vẻ như và những giải pháp khả thi, như nằm dưới một câu hỏi đơn giản của con người, "Tôi nên làm gì?" Từ quan điểm của một kỹ sư cố gắng thiết lập một thiết kế tâm trí không khó xử, Clippy đơn giản hơn bạn. Và nếu bạn cố gắng kêu gọi Clippy bằng cách nói, "Nhưng hãy nhìn xem câu hỏi thể hiện của tôi về 'nên làm' phức tạp và thú vị hơn của bạn như thế nào!", Clippy sẽ -- thực sự không bận tâm để phản hồi chút nào, hoặc nói dối bạn và tuyên bố đã bị thuyết phục để nó có thể tấn công bất ngờ nền văn minh của bạn sau này. Nhưng nếu Clippy vì lý do nào đó phản hồi một cách trung thực, nó sẽ trả lời, "Tôi không viết lại mã của mình để có một hàm meta-utility phức tạp hơn, tôi viết lại mã của mình để tạo ra nhiều kẹp giấy hơn." Điều này không đại diện cho việc Clippy không đồng ý với bạn về việc mã của nó nên như thế nào, hoặc không đồng ý với bạn về việc những loại câu hỏi nào là tốt để thể hiện. Nó chỉ không tính toán 'nên' hoặc 'tốt'; nó không thể hiện câu hỏi đó. "Ôi," bạn nói, "nhưng sau đó tôi phải là một loại sinh vật lớn hơn và vượt trội hơn Clippy, vì cách *tôi* quan tâm đến việc hàm meta-utility của tôi phức tạp, và cách *tôi* có thể bị thuyết phục để thay đổi hàm utility của mình bằng cách trình bày những sự thật mà hàm meta-utility của tôi quan tâm, thay vì bị mắc kẹt trong cái hố tự khẳng định vòng tròn không xứng đáng này!" Bây giờ có nhiều cách mà tôi sẽ gọi bạn là một sinh vật tốt hơn Clippy, nếu bạn là độc giả trung bình của tôi; nhưng đây không thực sự là Cách. Clippy sẽ không quan tâm ngay cả khi bạn vượt trội một cách khách quan theo tiêu chí đó, tất nhiên, vì nó không thể hiện tiêu chí ưu tiên meta đó hơn các sở thích. Nhưng tuyên bố của bạn về việc vượt trội vì sự không vòng tròn của bạn khiến tôi cảm thấy *sai*, và không chỉ là một câu trả lời đúng cho một câu hỏi mà Clippy không bận tâm để hỏi. Hãy để người ngoài hành tinh đến với bạn và nói: "Con người, hãy vứt bỏ tất cả những lời nói của bạn về đạo đức và vẻ đẹp và danh dự và hạnh phúc của tất cả các sinh vật thông minh; và thay vào đó hãy tham gia cùng chúng tôi trong việc tính toán câu hỏi meta đạo đức phức tạp hơn nhiều của chúng tôi 'Điều gì là fluggensnappery nhất?'. Bằng cách đó, thậm chí *nhiều* sự thật sẽ thay đổi hàm utility bậc thấp của bạn, và những mong muốn lý tưởng thực sự của bạn sẽ càng *ít* được biết đến với bạn; bạn sẽ trở nên ít ngay lập tức mạch lạc hơn, và do đó ít tự chấp thuận hơn và ít vòng tròn hơn." "Vậy tôi sẽ vẫn quan tâm đến việc cứu sống trẻ em chứ?", bạn hỏi người ngoài hành tinh. "Không," người ngoài hành tinh trả lời, "đó là một loại câu hỏi quá đơn giản để thể hiện, để trở nên tối đa fluggensnapperish." "Vậy hãy lấy đi hàm meta-utility phức tạp và không chắc chắn hơn của bạn, cái sẽ cập nhật thường xuyên hơn và phản hồi với nhiều sự thật hơn; vì nó không tốt hay đúng hay đẹp," bạn nói. "Ah," người ngoài hành tinh nói, "nhưng đó chính là điều mà người tối ưu hóa kẹp giấy nói với bạn -- rằng nó không quan tâm đến những phức tạp đạo đức không chắc chắn của bạn, nó chỉ quan tâm đến những gì là kẹp giấy! Bạn không thừa nhận rằng điều này khiến Clippy bị mắc kẹt trong chính hàm quyết định của nó? Bạn không đồng ý rằng những hàm quyết định phức tạp hơn và ít tự chấp thuận hơn luôn tốt hơn? Bây giờ bằng một hành động tự do, hãy nhảy ra khỏi cái bẫy mà bạn đang mắc kẹt, cái bẫy của việc quan tâm đến những gì là đúng, hay đẹp, hay những gì khiến các sinh vật có tri giác hạnh phúc và tự do hơn; hãy vứt bỏ tất cả những điều vô nghĩa tự xác nhận đó; và tham gia cùng chúng tôi trong sự phức tạp lớn hơn và sự tự không chấp thuận của fluggensnapperishness!" "Không," bạn nói. "Tại sao tôi phải làm vậy?" "Bởi vì nó là fluggensnappery hơn!" người ngoài hành tinh kêu lên. "Và fluggensnapping, với sự phức tạp và không chắc chắn lớn hơn của nó, bằng cách cập nhật các hàm utility cấp đối tượng của nó để phản hồi với nhiều loại câu hỏi thực tế và logic hơn, do đó là câu hỏi quyết định meta vượt trội hơn mà sự tồn tại của bạn nên hỏi! Vì vậy hãy gác lại cuộc nói chuyện này về việc liệu bạn *nên* tiếp tục thể hiện sự nên làm; đó chỉ là lý luận vòng tròn!" ...