我們生活在許多道德災難的中心，一切都同時發生。 科技和物質的豐富給了我們創造一個真正繁榮世界的機會，而我們卻完全浪費了這個機會。 未來會不會也如此？

可悲的是，我認為這是很可能的。 一個線程。

今天： 只需考慮我們對農場動物的影響。每年，數以百億計的工廠化養殖陸地動物過著痛苦的生活。

我認為人類的福祉在過去幾個世紀中有了顯著改善。 但由於動物農業直接造成的痛苦——僅僅是一個道德錯誤！——足以抵消這些進步中的大部分或全部。

也許你不在乎動物福利。但那麼就想想極端貧困、不平等、戰爭、消費主義或全球對自由的限制。 這些都意味著世界遠未達到它本可以有的美好。

事實上，我認為大多數道德觀點應該將今天的世界視為與我們本可以實現的相比，發生了災難性的價值損失。

這並不是說今天的世界是*壞的*，在某種意義上比什麼都不如。 這是說，今天的世界僅僅是它本可以有的好的一小部分。

那就是今天。但也許未來會非常不同？ 在超智能之後，我們將擁有物質和認知的豐富，因此每個人都會非常富有且資訊豐富，這將使每個人能夠獲得他們想要的大部分東西——這難道不夠嗎？

我不這麼認為。 我認為未來的人們可能會浪費掉大部分本可以實現的潛力——部分原因是有許多微妙的方式可能會導致事情出錯。

考慮人口倫理。 一個理想的未來社會是擁有少量人口但每個人的福祉非常高，還是擁有大量人口但每個人的福祉較低？ 生活中有正面但低的福祉是否會整體上使世界變得更好？

人口倫理學是著名的困難——事實上，有所謂的「不可能定理」顯示，沒有任何人口倫理學理論能滿足所有一些看似明顯的倫理公理。

不同的觀點將導致對於接近最佳未來的根本不同的願景。 從整體觀點來看，理想的未來可能涉及大量相對福利較低的存在；而少數高福利的生命將幾乎錯過所有的價值。 但從關鍵水平或變量價值的觀點來看，情況可能正好相反。

如果未來社會在人口倫理上出錯（無論是因為錯誤的價值觀，還是因為根本不在乎人口倫理），那麼它很容易錯失幾乎所有潛在的價值。

這只是社會可能搞砸事情的一種方式。還要考慮未來人們可能在以下方面犯的錯誤： 對數位存在的態度 對幸福本質的態度 空間資源的分配 快樂/痛苦的權衡 禁品 相似性/多樣性的權衡 平等或不平等 折現率 決策理論 對模擬的看法 對無限價值的看法 反思過程

對於這些問題中的大多數，並不存在一個“安全”的選擇，因為在大多數合理的道德觀點上，沒有保證會有良好的結果。未來的決策者需要正確處理許多事情。

而且似乎只要其中一個錯誤就足以導致失去大部分或幾乎所有可實現的價值。單一的缺陷可能足以使未來的社會變得比本來可能的情況更糟。

也就是說，我們可以將價值表示為多個因素的乘積。如果是這樣，那麼一個真正偉大的未來需要在這些因素的每一個方面都表現得非常出色；在任何一個方面表現不佳都足以失去大部分價值。

不必說，這是一個很大的挑戰。 有關這些問題的更多討論，請參見《沒有簡單的烏托邦》：

@William_Kiely "可以想像，*道德不確定性*本身就足以阻止我們選擇一個至少0.1%最優的未來，即使我們擁有完全的能力去選擇任何具體的未來。" - 如果我們能夠完全反思，那就不會了。