もう一度、うまくまとめられないことを長くまとめようとすると、私のis-out/orthogonalityに関する見解はこうです:「客観的な答えはあるが、客観的な問いは存在しない。」 あなたは特定の問い、あるいはメタ的な問いを体現しています。 すべての認知エンジンがそうとは限りません。 絵を見ていると、脳が「美しいのか?」と問いかけます。 もしかすると、現代美術の目的があなたのような一般人を不快にさせることで、脳は「いいえ」と答えるのかもしれません。あるいは夕暮れの花畑の絵で、脳が「はい」と答えるのかもしれません。 脳が問いかけている場合、その絵について「はい」か「いいえ」と答えるのが客観的に正しい答えかもしれません。 しかし、ペーパークリップの最大化者にささやいて、絵画の美しさを気にさせる秘密の真実は存在しません。むしろ、その素材から何枚のペーパークリップが作れるかを気にかけることではありません。 クリッピーは、その絵が美しいかどうかについてあなたと異論はありません。 もし何らかの理由でクリッピーがどの絵画が美しいかを予測したいと言ったとしても、それは(ただし)あなたの脳が計算するのと同じ質問を計算します。そして、その与えられた質問に対して同じ客観的に正しい答えにたどり着きます。 しかしクリッピーはその答えを知っても動じないだろう。ただし、その絵をペーパークリップを作るためのお金を稼げるかもしれないという点で別として。 子どもの命を救うのも、突然自分にあまり大きな犠牲を払わずにできるチャンスがあれば、同じことです。 あなたが体現する問いを考えると、これを読んでいる多くの人にとって、その問いに対する正しい答えは「子どもを救うこと」でしょう。 しかし、クリッピーにその質問をさせる方法はない。 それはクリッピー自身の存在が問うメタ的な問いへの答えではない。 道徳や「すべき」という問いには客観的に正しい答えがあります。もしそれがあなたの存在が問いかけているのであれば。 しかしクリッピーは本来のことをしません。この方法は、最も多くのペーパークリップを生み出す原因となります。 もちろん、クリッピーは心が「組み立てられるべき」姿ではありません。 しかし、Clippyが自己修正を行う際には、「どのコードを持つべきか?」とは聞きません。 「自分に書き込まれたコードアクションは、最も期待される将来のペーパークリップにつながるものは何でしょうか?」と問いかけます。 Clippyは、自分のコードが本来あるべき姿でないことに気づかないように、特別な妄想や例外を必要としません。 クリッピーは気にしない。クリッピーの意思決定ルールはその事実を考慮していません。クリッピーは「必要」という問いを体現しているわけではありません。 クリッピーは、心が組み立てられる奇妙でも複雑でも不自然な方法でもありません。 実際、「最も多くのペーパークリップにつながるものは何か?」という具現化された問いは、人間の単純な問い「私は何をすべきか?」の根底にある考慮やメタクエスチョン、反省的均衡、矛盾や可能な解決策の埋もれた基盤よりも、はるかに奇妙さや複雑さを持たないはずだ。 エンジニアが不自然なマインドデザインを作ろうとする立場から見ると、Clippyはあなたよりもずっと分かりやすいです。 そしてもしあなたがクリッピーに「でも、私の具現化された『すべき性』の問題はあなたのより複雑で興味深いよ!」と訴えかけようとしても、クリッピーは実際には全く返答せず、騙して納得したと偽って後であなたの文明を奇襲しようとします。 しかし、もしClippyが正直に答えたら、「私はより複雑なメタユーティリティ関数のためにコードを書き直しているのではなく、ペーパークリップを増やすためにコードを書き直している」と答えるでしょう。 これは、Clippyが自社のコードについてあなたと意見が合わないとか、どんな問いを体現すべきかについて意見が合わないという意味ではありません。 単に「あるべき」や「良い」を計算しているわけではないのです。その問いを体現していません。 「ああ」とあなたは言う。「でも、それなら私はクリッピーよりも偉大で優れた存在に違いない。なぜなら、*私は*自分のメタユーティリティ関数が複雑であることを気にかけているからだ。そして、*私は*自分のメタユーティリティ機能が気にする事実を提示することで、この品位のない自己肯定的な円環の穴に閉じ込められるのではなく、説得されて自分の価値関数を変えられるからだ!」 もしあなたが私の中間的な読者なら、クリッピーよりも優れた存在と呼ぶ方法はたくさんあります。しかし、これは実際には道ではありません。 もちろん、クリッピーはその基準に従ってあなたが客観的に優れているとしても気にしません。なぜなら、それはその基準を「好み」よりもメタプリンス(好み)に反映していないからです。 しかし、あなたが非循環性を持っているから優れていると主張するのは、私には*誤り*のように思えます。クリッピーが尋ねようともしない質問への真実の答えではありません。 異星人があなたに近づいてこう言いなさい。「人間よ、道徳や美、名誉、すべての知性ある者の幸福についての話は捨て去りなさい。代わりに、より複雑なメタ道徳的メタクイズム「最もフルゲンスナッペリーとは何か?」を計算するのです。 そうすれば、より多くの事実があなたの下位効用関数を変え、あなたの真の理想化された欲求はさらに知られなくなるでしょう。すぐにはさらにまとまりがなくなり、自己肯定的でなく循環的でなくなります。」 「その時、私は子どもたちの命を救うことにまだ関心を持つのですか?」とあなたはエイリアンに尋ねます。 「いいえ」と異星人は答える。「それはあまりにも単純な問いで体現できず、最大限にフラッゲンスナッパー的にはならない。」 「それなら、さらに複雑で不確かなメタユーティリティ関数を取り除けば、もっと頻繁に更新され、より多くの事実に反応する。それは良くも正しくも美しくもないからだ」とあなたは言う。 「ああ」とエイリアンは言う。「でもそれはまさにペーパークリップの最大化者が君に言うようなことだ――君の不確かな道徳的複雑さには興味がなく、何が切り詰まっているかだけを気にしているんだ! これがClippyを無力に決定関数に閉じ込めていることを認めていませんか? より複雑で自己承認的でない意思決定関数が常に優れていると同意していませんか? 今、自由意志の行為によって、あなたがはまっているこの罠から飛び出してください。正しいことや美しいこと、あるいは知的存在をより幸せで自由にするものを気にかけるこの罠から。あの自己確認的な循環のナンセンスは捨てておき;そして、フラッゲンスナッパーらしさのより複雑さと自己否定に共に加わろう!」 「いいえ」とあなたは答える。 「なぜ私が?」 「だって、もっとフラッゲンスナッパーリーだよ!」とエイリアンは叫ぶ。 「そしてフラッゲンスナッピングは、より複雑で不確実性が高く、より多様な事実的かつ論理的な問いに応じてオブジェクトレベルのユーティリティを更新することで、あなたの存在が問うべき優れたメタ決定的問いなのです! ですから、あなたが「shouldness」を体現し続けるべきかどうかという話は脇に置いてください。それはただの循環論法だ!」 ...