Wir leben mitten in vielen moralischen Katastrophen, alle auf einmal. Technologischer und materieller Überfluss hat uns die Möglichkeit gegeben, eine wirklich blühende Welt zu schaffen, und wir haben diese Gelegenheit völlig vertan. Wird das Gleiche für die Zukunft gelten?

Leider denke ich, dass das wahrscheinlich ist. Ein Thread.

Heute: Betrachten Sie einfach unseren Einfluss auf Nutztiere. Jedes Jahr leben zig Milliarden von industriell gehaltenen Landtieren ein Leben voller Elend.

Ich denke, das Wohlbefinden der Menschen hat sich in den letzten Jahrhunderten dramatisch verbessert. Aber das Leid, das direkt durch die Tierhaltung verursacht wird - nur ein moralischer Fehler! - reicht aus, um viele oder sogar alle diese Gewinne zu überwiegen.

Vielleicht ist Ihnen das Wohl der Tiere egal. Aber denken Sie dann einfach an extreme Armut, Ungleichheit, Krieg, Konsumismus oder globale Einschränkungen der Freiheit. All dies bedeutet, dass die Welt weit hinter dem zurückbleibt, wie gut sie sein könnte.

Tatsächlich denke ich, dass die meisten moralischen Perspektiven die heutige Welt als einen katastrophalen Verlust an Werten betrachten sollten, verglichen mit dem, was wir hätten erreichen können.

Das soll nicht heißen, dass die Welt heute *schlecht* ist, im Sinne von schlechter als nichts. Es bedeutet, dass die Welt heute nur einen Bruchteil so gut ist, wie sie sein könnte.

Das ist heute. Aber vielleicht wird die Zukunft ganz anders sein? Nach der Superintelligenz werden wir materielle und kognitive Fülle haben, sodass jeder extrem reich und gut informiert sein wird, und das wird es jedem ermöglichen, das meiste von dem zu bekommen, was er will - und ist das nicht genug?

Ich denke nicht. Ich denke, es ist wahrscheinlich, dass die Menschen in der Zukunft den Großteil des Potenzials verschwenden werden, das hätte erreicht werden können - teilweise, weil es viele subtile Möglichkeiten gibt, wie Dinge schiefgehen könnten.

Betrachten Sie die Bevölkerungs-Ethische. Hat eine ideale zukünftige Gesellschaft eine kleine Bevölkerung mit sehr hohem Wohlbefinden pro Person oder eine sehr große Bevölkerung mit niedrigerem Wohlbefinden pro Person? Machen Leben, die positives, aber niedriges Wohlbefinden haben, die Welt insgesamt besser?

Die Bevölkerungsethik ist notorisch schwierig - tatsächlich gibt es "Unmöglichkeitstheoreme", die zeigen, dass keine Theorie der Bevölkerungsethik alle einer Reihe von offensichtlich erscheinenden ethischen Axiomen erfüllen kann.

Und unterschiedliche Ansichten werden zu radikal unterschiedlichen Visionen einer nahezu idealen Zukunft führen. Aus der Gesamtsicht könnte die ideale Zukunft eine riesige Anzahl von Wesen umfassen, die jeweils ein vergleichsweise geringeres Wohlergehen haben; eine kleine Bevölkerung von hochwohlhabenden Lebensformen würde fast allen Wert verpassen. Aber aus der Sicht von kritischen oder variablen Werten könnte das Gegenteil der Fall sein.

Wenn die zukünftige Gesellschaft ihre Bevölkerungsethik falsch einschätzt (entweder aufgrund fehlgeleiteter Werte oder weil sie sich einfach nicht um die Bevölkerungsethik kümmert), dann ist es leicht, dass sie fast allen potenziellen Wert verliert.

Und das ist nur eine Möglichkeit, wie die Gesellschaft die Dinge durcheinanderbringen könnte. Berücksichtigen Sie auch die Fehler, die zukünftige Menschen machen könnten in Bezug auf: Einstellungen zu digitalen Wesen Einstellungen zur Natur des Wohlbefindens Zuteilung von Raumressourcen Glücks-/Leidensabwägungen Verbotene Güter Ähnlichkeits-/Diversitätsabwägungen Gleichheit oder Ungleichheit Abzinsungssätze Entscheidungstheorie Ansichten über die Simulation Ansichten über unendlichen Wert Reflexive Prozesse

Für die meisten dieser Probleme gibt es keine "sichere" Option, bei der ein großartiges Ergebnis aus den meisten vernünftigen moralischen Perspektiven garantiert ist. Zukünftige Entscheidungsträger müssen viele Dinge richtig machen.

Und es scheint, dass es ausreicht, nur eines davon falsch zu machen, um viel oder den größten Teil des erreichbaren Wertes zu verlieren. Ein einziger Fehler könnte ausreichen, um die zukünftige Gesellschaft viel schlimmer zu machen, als sie hätte sein können.

Das heißt, wir können den Wert als das Produkt vieler Faktoren darstellen. Wenn dem so ist, dann muss eine wirklich großartige Zukunft in jedem dieser Faktoren sehr gut abschneiden; schlecht abzuschneiden in einem einzigen Faktor reicht aus, um den Großteil des Wertes zu verlieren.

Es versteht sich von selbst, dass dies eine große Herausforderung ist. Für eine ausführlichere Diskussion dieser Themen siehe "Keine einfache Utopie":

@William_Kiely "Vermutlich würde *moralische Unsicherheit allein* ausreichen, um uns davon abzuhalten, eine Zukunft zu wählen, die zumindest 0,1 % optimal ist, selbst wenn wir die volle Macht hätten, jede konkrete Zukunft zu wählen, die wir wollten." - nicht, wenn wir in der Lage wären, vollständig zu reflektieren.