De koers van de toekomst zou binnenkort in steen kunnen worden gezet. In een nieuw artikel kijk ik naar mechanismen waardoor de koers van de lange termijn in onze levens kan worden bepaald. Deze omvatten de creatie van AGI-ondersteunde instellingen, een wereldwijde concentratie van macht, de wijdverspreide vestiging van de ruimte, de eerste onsterfelijke wezens, het wijdverspreid ontwerpen van nieuwe wezens en de mogelijkheid om zichzelf op significante en blijvende manieren te modificeren. Ik ben niet erg zeker dat dergelijke gebeurtenissen zullen plaatsvinden, maar naar mijn mening zijn ze waarschijnlijk genoeg om het werk om ze in betere richtingen te sturen zeer waardevol te maken. Laten we elk mechanisme één voor één bekijken. Eerst, AGI-gebaseerde instellingen. Zodra we AGI hebben, zouden besluitvormers kunnen: - Een instelling opzetten en de AGI zo afstemmen dat deze de grondwet begrijpt en het handhaven van die grondwet als zijn doel heeft. - Die AGI de mogelijkheid geven om de grondwet te handhaven. - Kopieën van de neurale gewichten van de AGI op meerdere locaties opslaan om het risico van vernietiging van een van de kopieën te verminderen. - De originele Constitutionele-AGI opnieuw laden om te controleren of de AGI's die belast zijn met het waarborgen van de naleving van de grondwet zich houden aan hun oorspronkelijke doelen terwijl die AGI's in de loop van de tijd leren en hun neurale gewichten bijwerken. Dit zou zijn alsof we, in plaats van dat het Hooggerechtshof de Amerikaanse Grondwet interpreteert, de geesten van Madison en Hamilton zouden kunnen oproepen en hen rechtstreeks zouden kunnen vragen - en hun opvattingen waren beslissend. Met deze in plaats, zou deze AGI-ondersteunde grondwet oneindig kunnen functioneren. Ten tweede, onsterfelijkheid. Door de geschiedenis heen heeft de dood gefunctioneerd als een natuurlijke rem op de persistentie van een bepaalde set waarden of machtsstructuren. In de loop van de tijd veranderen zelfs de meest verankerde waarden uiteindelijk naarmate nieuwe generaties de oude vervangen. Post-AGI-technologie zou deze dynamiek fundamenteel kunnen veranderen. Digitale wezens zouden inherent immuun zijn voor biologische veroudering; in combinatie met perfecte replicatie en hardware-migratie, zullen we in staat zijn om de geesten te creëren wiens exacte waarden en besluitvormingsprocessen onveranderd kunnen blijven bestaan. Een soortgelijke dynamiek zou kunnen gelden voor biologische onsterfelijkheid. Een technologische explosie aangedreven door AGI zou de biologische beperkingen op de menselijke levensduur dramatisch kunnen verlengen of effectief kunnen elimineren door technologieën die zich richten op de fundamentele mechanismen van veroudering. Derde, het ontwerpen van wezens. Door de geschiedenis heen heeft verandering plaatsgevonden omdat opeenvolgende generaties niet dezelfde waarden als hun voorouders erven. Maar deze dynamiek zou kunnen veranderen na AGI. Waarschijnlijk zal de overgrote meerderheid van de wezens die we creëren AI zijn, en zij zullen producten van ontwerp zijn - we zullen kunnen kiezen welke voorkeuren zij hebben. En met voldoende technologische capaciteit zouden we waarschijnlijk ook de voorkeuren van onze biologische nakomelingen kunnen kiezen. Zelfs als mensen ervoor kiezen om niet voor altijd te leven, zouden hun waarden kunnen blijven bestaan door perfecte overdracht van de ene generatie op de andere. Vierde, sterke zelfmodificatie. In de toekomst zullen mensen waarschijnlijk in staat zijn om hun eigen overtuigingen en voorkeuren te modificeren zodat ze precies kunnen kiezen welke overtuigingen en voorkeuren ze willen hebben. Dus, niet alleen zouden mensen vandaag de toekomstwaarden van de samenleving kunnen beheersen door voor altijd te leven; ze zouden ook de waarden van hun toekomstige zelf kunnen beheersen. Een religieuze fanaticus zou ervoor kunnen kiezen om onwrikbare zekerheid te hebben dat hun favoriete religie waar is; een ideologische extremist zou ervoor kunnen kiezen om een onherroepelijke en onveranderlijke voorkeur te hebben voor hun politieke partij boven elke andere. Naast het creëren van nieuwe mechanismen die persistente padafhankelijkheid mogelijk maken, zou een post-AGI-wereld ook de oorzaken van verstoring kunnen verminderen. Door de geschiedenis heen zijn maatschappelijke veranderingen vaak gedreven door technologische innovaties die bestaande machtsstructuren verstoren. Echter, naarmate de beschaving technologische volwassenheid nadert - het hypothetische punt waarop alle belangrijke technologieën zijn uitgevonden - zou deze bron van verstoring verdwijnen. Geavanceerde technologie zou ook andere soorten verstoring helpen voorkomen. Het zou de voorspellingscapaciteiten dramatisch verbeteren: geavanceerde AI-systemen zouden veel meer informatie kunnen verwerken, complexe systemen met grotere precisie kunnen modelleren en uitkomsten over langere tijdshorizonten kunnen voorspellen. Het zou dus veel minder waarschijnlijk zijn dat mensen hun invloed zouden opgeven door gewoon een fout te maken. Ten slotte zou een post-AGI-wereld gekenmerkt kunnen worden door onbepaalde defensieve dominantie, wat een permanent stabiele concentratie van macht mogelijk maakt. In het bijzonder zou onbepaalde defensieve dominantie kunnen ontstaan als gevolg van wijdverspreide ruimtevestiging. Als sterrenstelsels sterk defensief dominant zijn, dan zou de startverdeling van sterrenstelsels, in principe, oneindig kunnen worden vastgehouden. Het zou kunnen zijn dat, na de initiële toewijzing, er handel of schenking van enkele sterrenstelsels is; maar zelfs als dat zo is, zou er nog steeds een zeer sterke padafhankelijkheid zijn, aangezien de uiteindelijke toewijzing van sterrenstelsels extreem beïnvloed zou worden door de starttoewijzing. Deze kwesties lijken misschien verre zorgen - maar de intelligentie- en industriële explosies maken ze op korte termijn. Ik denk dat de kans groter is dan 1 op 3 dat we een intelligentie-explosie zien die begint in de komende 10 jaar. En als geavanceerde AI resulteert in explosieve technologische vooruitgang en industriële uitbreiding, dan zullen veel van de nieuwe mechanismen voor persistentie snel achtereenvolgens verschijnen.

Papier hier: