Die Trajektorie der Zukunft könnte bald in Stein gemeißelt werden. In einem neuen Papier betrachte ich die Mechanismen, durch die der langfristige Kurs der Zukunft innerhalb unserer Lebenszeit bestimmt werden könnte. Diese umfassen die Schaffung von AGI-gestützten Institutionen, eine globale Konzentration von Macht, die weit verbreitete Besiedlung des Weltraums, die ersten unsterblichen Wesen, das weit verbreitete Design neuer Wesen und die Fähigkeit zur signifikanten und dauerhaften Selbstmodifikation. Ich bin mir nicht sehr sicher, dass solche Ereignisse eintreten werden, aber meiner Meinung nach sind sie wahrscheinlich genug, um die Arbeit, sie in bessere Richtungen zu lenken, sehr wertvoll zu machen. Lassen Sie uns jeden Mechanismus der Reihe nach betrachten. Zuerst, AGI-basierte Institutionen. Sobald wir AGI haben, könnten Entscheidungsträger: - Eine Institution einrichten und die AGI so ausrichten, dass sie diese Verfassung versteht und die Durchsetzung dieser Verfassung als ihr Ziel hat. - Diese AGI mit der Fähigkeit ausstatten, die Verfassung durchzusetzen. - Kopien der neuronalen Gewichte der AGI an mehreren Orten speichern, um das Risiko der Zerstörung einer der Kopien zu verringern. - Die ursprüngliche Verfassungs-AGI neu laden, um zu überprüfen, dass alle AGIs, die mit der Sicherstellung der Einhaltung der Verfassung beauftragt sind, ihre ursprünglichen Ziele beibehalten, während diese AGIs im Laufe der Zeit lernen und ihre neuronalen Gewichte aktualisieren. Das wäre so, als ob wir anstelle des Obersten Gerichtshofs die US-Verfassung zu interpretieren, die Geister von Madison und Hamilton heraufbeschwören und sie direkt fragen könnten - und ihre Ansichten wären entscheidend. Mit diesen Mechanismen könnte diese AGI-gestützte Verfassung unbegrenzt operieren. Zweitens, Unsterblichkeit. Im Laufe der Geschichte hat der Tod als natürlicher Bremsfaktor für die Beständigkeit eines bestimmten Wertesystems oder von Machtstrukturen fungiert. Im Laufe der Zeit ändern sich selbst die am tiefsten verwurzelten Werte, wenn neue Generationen die alten ersetzen. Post-AGI-Technologie könnte dieses dynamische Gleichgewicht grundlegend verändern. Digitale Wesen wären von Natur aus immun gegen biologische Alterung; in Kombination mit perfekter Replikation und Hardware-Migration werden wir in der Lage sein, die Geister zu schaffen, deren genaue Werte und Entscheidungsprozesse unbegrenzt unverändert bestehen bleiben könnten. Ein ähnliches dynamisches Gleichgewicht könnte für biologische Unsterblichkeit gelten. Eine technologische Explosion, die von AGI angetrieben wird, könnte die biologischen Einschränkungen der menschlichen Lebensspanne dramatisch verlängern oder effektiv beseitigen, indem Technologien entwickelt werden, die auf die grundlegenden Mechanismen des Alterns abzielen. Drittens, das Design von Wesen. Im Laufe der Geschichte hat der Wandel teilweise stattgefunden, weil nachfolgende Generationen nicht die gleichen Werte wie ihre Vorfahren erben. Aber dieses dynamische Gleichgewicht könnte sich nach AGI ändern. Wahrscheinlich werden die meisten Wesen, die wir erschaffen, KI sein, und sie werden Produkte des Designs sein - wir werden in der Lage sein, ihre Präferenzen auszuwählen. Und mit ausreichender technologischer Fähigkeit könnten wir wahrscheinlich auch die Präferenzen unserer biologischen Nachkommen wählen. Selbst wenn Menschen sich entscheiden, nicht ewig zu leben, könnten ihre Werte durch perfekte Übertragung von einer Generation zur nächsten bestehen bleiben. Viertens, starke Selbstmodifikation. In der Zukunft werden Menschen wahrscheinlich in der Lage sein, ihre eigenen Überzeugungen und Präferenzen so zu modifizieren, dass sie genau wählen können, welche Überzeugungen und Präferenzen sie haben möchten. So könnten nicht nur Menschen heute in der Lage sein, die zukünftigen Werte der Gesellschaft zu kontrollieren, indem sie ewig leben; sie könnten auch die Werte ihrer zukünftigen Selbst kontrollieren. Ein religiöser Fanatiker könnte sich entscheiden, unerschütterliche Gewissheit zu haben, dass ihre bevorzugte Religion wahr ist; ein ideologischer Extremist könnte sich entscheiden, eine unwiderrufliche und unerschütterliche Präferenz für ihre politische Partei über jede andere zu haben. Neben der Schaffung neuer Mechanismen, die eine anhaltende Pfadabhängigkeit ermöglichen, könnte eine post-AGI-Welt auch die Ursachen von Störungen verringern. Im Laufe der Geschichte wurden gesellschaftliche Veränderungen oft durch technologische Innovationen vorangetrieben, die bestehende Machtstrukturen stören. Wenn die Zivilisation jedoch die technologische Reife erreicht - den hypothetischen Punkt, an dem alle wichtigen Technologien erfunden wurden - würde diese Quelle der Störung verschwinden. Fortschrittliche Technologie würde auch andere Arten von Störungen verhindern. Sie würde die Vorhersagefähigkeiten dramatisch verbessern: Fortschrittliche KI-Systeme könnten weitaus mehr Informationen verarbeiten, komplexe Systeme mit größerer Präzision modellieren und Ergebnisse über längere Zeiträume vorhersagen. Es wäre also viel weniger wahrscheinlich, dass Menschen ihren Einfluss einfach durch einen Fehler aufgeben. Schließlich könnte eine post-AGI-Welt durch unendliche Verteidigungsdominanz gekennzeichnet sein, die eine dauerhaft stabile Konzentration von Macht ermöglicht. Insbesondere könnte unendliche Verteidigungsdominanz als Ergebnis der weit verbreiteten Besiedlung des Weltraums entstehen. Wenn Sternensysteme stark verteidigungsdominant sind, könnte die anfängliche Verteilung der Sternensysteme prinzipiell unbegrenzt gehalten werden. Es könnte sein, dass nach der ursprünglichen Zuteilung ein Handel oder eine Schenkung einiger Sternensysteme stattfindet; aber selbst dann würde es immer noch eine sehr starke Pfadabhängigkeit geben, da die endgültige Zuteilung der Sternensysteme extrem von der ursprünglichen Zuteilung beeinflusst würde. Diese Themen mögen wie weit hergeholte Bedenken erscheinen - aber die Intelligenz- und Industrieexplosionen machen sie kurzfristig relevant. Ich denke, es ist über 1 zu 3, dass wir in den nächsten 10 Jahren eine Intelligenzexplosion sehen werden. Und wenn fortschrittliche KI zu explosivem technologischem Fortschritt und industrieller Expansion führt, werden viele der neuen Mechanismen für Beständigkeit schnell aufeinander folgen.

Papier hier: