Framtidens bana kan snart vara huggen i sten. I en ny artikel tittar jag på mekanismer genom vilka den långsiktiga framtidens kurs kan bestämmas inom vår livstid. Dessa inkluderar skapandet av AGI-påtvingade institutioner, en global maktkoncentration, den utbredda bosättningen av rymden, de första odödliga varelserna, den utbredda designen av nya varelser och förmågan att självmodifiera på betydande och varaktiga sätt. Jag är inte särskilt säker på att sådana händelser kommer att inträffa, men enligt min åsikt är de tillräckligt sannolika för att göra arbetet med att styra dem i bättre riktningar mycket värdefullt. Låt oss ta varje mekanism i tur och ordning. För det första, AGI-baserade institutioner. När vi väl har AGI kan beslutsfattare: - Inrätta en institution och anpassa AGI så att den förstår konstitutionen och har upprätthållandet av den konstitutionen som sitt mål. - Ge AGI möjlighet att genomdriva konstitutionen. - Lagra kopior av de neurala vikterna för AGI på flera platser för att minska risken för att någon av kopiorna förstörs. - Ladda om den ursprungliga konstitutionella AGI:n för att kontrollera att alla AGI:er som har till uppgift att se till att konstitutionen följs fortsätter att följa sina ursprungliga mål när dessa AGI:er lär sig och uppdaterar sina neurala vikter över tid. Det skulle vara som om vi, i stället för att låta Högsta domstolen tolka den amerikanska konstitutionen, skulle kunna frammana Madisons och Hamiltons spöken och fråga dem direkt - och deras åsikter var avgörande. Med dessa på plats skulle denna AGI-påtvingade konstitution kunna fungera i all oändlighet. För det andra, odödlighet. Genom historien har döden fungerat som en naturlig broms för fortlevnaden av en viss uppsättning värderingar eller maktstrukturer. Med tiden förändras även de mest inrotade värderingarna så småningom när nya generationer ersätter de gamla. Post-AGI-tekniken skulle kunna förändra denna dynamik i grunden. Digitala varelser skulle till sin natur vara immuna mot biologiskt åldrande; I kombination med perfekt replikering och hårdvarumigrering kommer vi att kunna skapa de sinnen vars exakta värderingar och beslutsprocesser kan förbli oförändrade på obestämd tid. En liknande dynamik skulle kunna gälla för biologisk odödlighet. En teknologisk explosion som drivs av AGI skulle dramatiskt kunna förlänga eller effektivt eliminera biologiska begränsningar för människors livslängd genom teknik som riktar sig mot de grundläggande mekanismerna för åldrande. För det tredje, att designa varelser. Genom historien har förändring skett delvis på grund av att efterföljande generationer inte ärver samma värderingar som sina förfäder. Men denna dynamik kan komma att förändras efter AGI. Förmodligen kommer den stora majoriteten av varelser som vi skapar att vara AI, och de kommer att vara designprodukter – vi kommer att kunna välja vilka preferenser de har. Och med tillräcklig teknisk kapacitet skulle vi sannolikt också kunna välja våra biologiska avkommas preferenser. Även om människor väljer att inte leva för evigt, kan deras värderingar fortsätta att bestå genom perfekt överföring från en generation till nästa. För det fjärde, stark självmodifikation. I framtiden kommer människor förmodligen att kunna modifiera sina egna övertygelser och preferenser så att de exakt kan välja vilka övertygelser och preferenser de ska ha. Så det är inte bara så att människor idag kan kontrollera samhällets framtida värderingar genom att leva för evigt; De skulle också kunna kontrollera sina framtida jags värderingar. En religiös fanatiker kan välja att ha orubblig visshet om att deras favoritreligion är sann; En ideologisk extremist kan välja att ha en oåterkallelig och orubblig preferens för sitt politiska parti framför något annat. Förutom att skapa nya mekanismer som möjliggör ihållande vägberoende, skulle en post-AGI-värld också kunna minska orsakerna till störningar. Genom historien har samhällsförändringar ofta drivits på av tekniska innovationer som rubbar befintliga maktstrukturer. Men i takt med att civilisationen närmar sig teknologisk mognad – den hypotetiska punkt där all viktig teknik har uppfunnits – skulle denna källa till disruption försvinna. Avancerad teknik skulle också bidra till att förhindra andra typer av störningar. Det skulle dramatiskt förbättra prognosförmågan: avancerade AI-system skulle kunna bearbeta mycket mer information, modellera komplexa system med större precision och förutsäga resultat över längre tidshorisonter. Så det skulle vara mycket mindre troligt att människor skulle avstå från sitt inflytande bara genom att göra något misstag. Slutligen kan en post-AGI-värld kännetecknas av obegränsad försvarsdominans, vilket möjliggör en permanent stabil maktkoncentration. I synnerhet kunde obegränsad försvarsdominans uppstå som ett resultat av omfattande bosättningar i rymden. Om stjärnsystem är starkt försvarsdominanta, så skulle den ursprungliga fördelningen av stjärnsystem i princip kunna hållas kvar i det oändliga. Det kan vara så att det, efter den första tilldelningen, sker handel eller gåvor av vissa stjärnsystem; Men även om så vore fallet skulle det fortfarande finnas ett mycket starkt vägberoende, eftersom den slutliga tilldelningen av stjärnsystem skulle påverkas extremt av den initiala tilldelningen. Dessa frågor kan tyckas vara avlägsna bekymmer - men intelligensen och de industriella explosionerna gör dem kortsiktiga. Jag tror att det är mer än 1 av 3 som vi ser en intelligensexplosion som börjar under de kommande 10 åren. Och om avancerad AI leder till explosiva tekniska framsteg och industriell expansion, kommer många av de nya mekanismerna för uthållighet att komma i snabb följd.

Papper här: