La trajectoire de l'avenir pourrait bientôt être gravée dans la pierre. Dans un nouvel article, j'examine les mécanismes par lesquels le cours du long terme pourrait être déterminé au cours de nos vies. Cela inclut la création d'institutions appliquées par l'AGI, une concentration mondiale de pouvoir, la colonisation généralisée de l'espace, les premiers êtres immortels, la conception généralisée de nouveaux êtres, et la capacité de se modifier soi-même de manière significative et durable. Je ne suis pas très confiant que de tels événements se produisent, mais à mon avis, ils sont suffisamment probables pour que le travail visant à les orienter dans de meilleures directions soit très précieux. Examinons chaque mécanisme à tour de rôle. Tout d'abord, les institutions basées sur l'AGI. Une fois que nous aurons l'AGI, les décideurs pourraient : - Mettre en place une institution et aligner l'AGI de manière à ce qu'il comprenne cette constitution et ait l'application de cette constitution comme objectif. - Donner à cet AGI la capacité d'appliquer la constitution. - Stocker des copies des poids neuronaux de l'AGI à plusieurs endroits afin de réduire le risque de destruction de l'une des copies. - Recharger l'AGI constitutionnel original pour vérifier que tous les AGI chargés d'assurer le respect de la constitution maintiennent leur adhésion à leurs objectifs originaux à mesure que ces AGI apprennent et mettent à jour leurs poids neuronaux au fil du temps. Ce serait comme si, plutôt que de faire interpréter la Constitution des États-Unis par la Cour suprême, nous pouvions invoquer les fantômes de Madison et Hamilton et leur demander directement - et leurs avis seraient décisifs. Avec cela en place, cette constitution appliquée par l'AGI pourrait fonctionner indéfiniment. Deuxièmement, l'immortalité. Tout au long de l'histoire, la mort a fonctionné comme un frein naturel à la persistance de tout ensemble particulier de valeurs ou de structures de pouvoir. Au fil du temps, même les valeurs les plus ancrées finissent par changer à mesure que de nouvelles générations remplacent les anciennes. La technologie post-AGI pourrait fondamentalement modifier cette dynamique. Les êtres numériques seraient intrinsèquement immunisés contre le vieillissement biologique ; combinés à une réplication parfaite et à une migration matérielle, nous serons capables de créer des esprits dont les valeurs exactes et les processus décisionnels pourraient persister inchangés indéfiniment. Une dynamique similaire pourrait s'appliquer à l'immortalité biologique. Une explosion technologique alimentée par l'AGI pourrait prolonger de manière spectaculaire ou éliminer efficacement les contraintes biologiques sur la durée de vie humaine grâce à des technologies ciblant les mécanismes fondamentaux du vieillissement. Troisièmement, la conception d'êtres. Au cours de l'histoire, le changement s'est produit en partie parce que les générations successives n'héritent pas des mêmes valeurs que leurs ancêtres. Mais cette dynamique pourrait changer après l'AGI. Probablement, la grande majorité des êtres que nous créons seront des IA, et ils seront des produits de conception - nous pourrons choisir quelles préférences ils ont. Et, avec une capacité technologique suffisante, nous serions probablement capables de choisir les préférences de notre descendance biologique également. Même si les gens choisissent de ne pas vivre éternellement, leurs valeurs pourraient continuer à persister grâce à une transmission parfaite d'une génération à l'autre. Quatrièmement, la forte auto-modification. À l'avenir, les gens pourront probablement modifier leurs propres croyances et préférences de manière à pouvoir choisir précisément quelles croyances et préférences avoir. Ainsi, non seulement les gens d'aujourd'hui pourraient contrôler les valeurs futures de la société en vivant éternellement ; ils pourraient également contrôler les valeurs de leurs futurs eux-mêmes. Un fanatique religieux pourrait choisir d'avoir une certitude inébranlable que sa religion préférée est vraie ; un extrémiste idéologique pourrait choisir d'avoir une préférence irrévocable et inébranlable en faveur de son parti politique par rapport à tout autre. En plus de créer de nouveaux mécanismes qui permettent une dépendance persistante au chemin, un monde post-AGI pourrait également réduire les causes de perturbation. Tout au long de l'histoire, les changements sociétaux ont souvent été entraînés par des innovations technologiques qui perturbent les structures de pouvoir existantes. Cependant, à mesure que la civilisation approche de la maturité technologique - le point hypothétique auquel toutes les grandes technologies ont été inventées - cette source de perturbation disparaîtrait. Une technologie avancée aiderait également à prévenir d'autres types de perturbation. Elle améliorerait considérablement les capacités de prévision : des systèmes d'IA avancés pourraient traiter beaucoup plus d'informations, modéliser des systèmes complexes avec plus de précision et prévoir des résultats sur des horizons temporels plus longs. Il serait donc beaucoup moins probable que les gens renoncent à leur influence simplement en commettant une erreur. Enfin, un monde post-AGI pourrait être caractérisé par une dominance défensive indéfinie, permettant une concentration de pouvoir stable en permanence. En particulier, la dominance défensive indéfinie pourrait résulter d'une colonisation spatiale généralisée. Si les systèmes stellaires sont fortement dominants en matière de défense, alors la distribution initiale des systèmes stellaires pourrait, en principe, être conservée indéfiniment. Il se pourrait qu'après l'allocation initiale, il y ait des échanges ou des dons de certains systèmes stellaires ; mais même dans ce cas, il y aurait encore une très forte dépendance au chemin, car l'allocation finale des systèmes stellaires serait extrêmement influencée par l'allocation initiale. Ces questions pourraient sembler des préoccupations lointaines - mais les explosions d'intelligence et industrielles les rendent à court terme. Je pense qu'il y a plus d'une chance sur trois que nous assistions à une explosion d'intelligence dans les 10 prochaines années. Et si l'IA avancée entraîne un progrès technologique explosif et une expansion industrielle, alors de nombreux nouveaux mécanismes de persistance arriveront rapidement.

Document ici :