Ми живемо серед багатьох моральних катастроф, і все це одночасно. Технологічний і матеріальний достаток дав нам можливість створити по-справжньому процвітаючий світ, і ми повністю змарнували цю можливість. Чи те саме стосуватиметься й майбутнього?

На жаль, я думаю, що це ймовірно. Нитка.

Сьогодні: Просто подумайте про наш вплив на сільськогосподарських тварин. Щороку десятки мільярдів наземних тварин, вирощених на фабричних фермах, живуть у злиднях.

Я думаю, що добробут людей різко покращився за останні кілька століть. Але страждання, безпосередньо спричинені тваринництвом - лише одна моральна помилка! - достатньо, щоб переважити багато або всі ці вигоди.

Можливо, ви не дбаєте про добробут тварин. Але тоді просто подумайте про крайню бідність, нерівність, війну, споживацтво чи глобальні обмеження свободи. Все це означає, що світ далеко не дотягує до того, наскільки хорошим він міг би бути.

Насправді, я думаю, що більшість моральних перспектив повинні розглядати сьогоднішній світ як такий, що передбачає катастрофічну втрату цінності порівняно з тим, чого ми могли б досягти.

Все це не означає, що сьогоднішній світ є «поганим» у сенсі «гірше, ніж нічого». Це говорить про те, що сьогоднішній світ лише на дещицю настільки хороший, наскільки міг би бути.

Це сьогодні. Але, можливо, майбутнє буде зовсім іншим? Після суперінтелекту ми матимемо матеріальний та когнітивний достаток, тому всі будуть надзвичайно багатими та добре поінформованими, і це дозволить кожному отримати більшу частину того, що він хоче – і хіба цього не достатньо?

Думаю, що ні. Я думаю, що цілком ймовірно, що люди в майбутньому розтратять більшу частину потенціалу, якого можна було б досягти - частково тому, що є багато тонких способів, якими все може піти не так.

Розглянемо популяційну етику. Чи буде ідеальне майбутнє суспільство мати маленьке населення з дуже високим добробутом на людину, або дуже велике населення з нижчим добробутом на людину? Чи життя з позитивним, але низьким рівнем добробуту робить світ кращим в цілому?

Популяційна етика, як відомо, важка - фактично, існують «теореми неможливості», які показують, що жодна теорія популяційної етики не може задовольнити всі ряд очевидних, здавалося б, етичних аксіом.

І різні погляди призведуть до кардинально різних уявлень про майже найкраще майбутнє. З загальної точки зору, ідеальне майбутнє може включати в себе величезну кількість істот, кожна з яких має порівняно нижчий рівень добробуту; Невелика популяція людей з високим рівнем добробуту втратить майже всю цінність. Але в поглядах на критичний рівень або змінне значення може бути навпаки.

Якщо суспільство майбутнього помиляється в етиці популяції (або через помилкові цінності, або тому, що воно просто не дбає про етику населення в будь-якому випадку), то воно легко втратить майже всю потенційну цінність.

І це лише один із способів, за допомогою якого суспільство може все зіпсувати. Розглянемо також помилки, які можуть зробити майбутні люди: Ставлення до цифрових істот Ставлення до природи благополуччя Розподіл космічних ресурсів Компроміс між щастям і стражданням Заборонені товари Компроміси між подібністю та різноманітністю Рівність чи нерівність Ставки зі знижкою Теорія прийняття рішень Погляди на симуляцію Погляди на нескінченну цінність Рефлексивні процеси

Для більшості цих питань не існує «безпечного» варіанту, де гарантований чудовий результат з найбільш розумних моральних точок зору. Майбутнім особам, які приймають рішення, потрібно буде багато чого зробити правильно.

І здається, що помилка лише в одному з них може бути достатньою для втрати більшої або найбільш досяжної цінності. Одного недоліку може бути достатньо, щоб зробити майбутнє суспільство набагато гіршим, ніж воно могло б бути.

Тобто ми можемо представити цінність як добуток багатьох факторів. Якщо це так, то по-справжньому велике майбутнє має бути дуже добре враховане практично з кожним із цих факторів; Достатньо зробити погано в будь-якому з них, щоб втратити більшу частину цінності.

Чи варто говорити, що це великий виклик. Більш детальне обговорення цих питань можна знайти в статті "Нелегка Євтопія":

@William_Kiely «Можливо, однієї лише моральної невизначеності було б достатньо, щоб перешкодити нам вибрати майбутнє, яке є оптимальним принаймні на 0,1%, навіть якби ми мали повну владу вибрати будь-яке конкретне майбутнє, яке ми хочемо» - ні, якби ми були повністю здатні до роздумів.