Trajektorie budoucnosti by mohla být brzy vytesána do kamene. V novém článku se zabývám mechanismy, jejichž prostřednictvím by se mohl během našeho života určovat dlouhodobý budoucí směr. Patří mezi ně vytvoření institucí vynucených AGI, globální koncentrace moci, rozsáhlé osídlení vesmíru, první nesmrtelné bytosti, rozšířený design nových bytostí a schopnost sebemodifikace významnými a trvalými způsoby. Nejsem si příliš jistý, že k takovým událostem dojde, ale podle mého názoru jsou dostatečně pravděpodobné na to, aby se práce na jejich nasměrování lepším směrem stala velmi cennou. Vezměme si postupně každý mechanismus. Za prvé, instituce založené na AGI. Jakmile budeme mít AGI, osoby s rozhodovací pravomocí by mohly: - Založit instituci a sladit AGI tak, aby rozuměla této ústavě a měla za cíl vynucování této ústavy. - Dát této AGI schopnost vynucovat ústavu. - Ukládat kopie nervových vah AGI na více místech, aby se snížilo riziko zničení kterékoli z kopií. - Znovu načtěte původní konstituční AGI a zkontrolujte, zda všechny AGI, které mají za úkol zajistit soulad s ústavou, dodržují své původní cíle, protože tyto AGI se v průběhu času učí a aktualizují své nervové váhy. To by bylo, jako bychom místo toho, aby Nejvyšší soud vykládal americkou ústavu, mohli vyvolat duchy Madisona a Hamiltona a zeptat se jich přímo - a jejich názory byly rozhodující. S těmito na místě by tato AGI vynucená ústava mohla fungovat neomezeně dlouho. Za druhé, nesmrtelnost. V průběhu historie smrt fungovala jako přirozená brzda pro přetrvávání jakéhokoli konkrétního souboru hodnot nebo mocenských struktur. Postupem času se i ty nejzakořeněnější hodnoty nakonec změní, protože nové generace nahradí ty staré. Post-AGI technologie by mohla tuto dynamiku zásadně změnit. Digitální bytosti by byly ze své podstaty imunní vůči biologickému stárnutí; V kombinaci s dokonalou replikací a migrací hardwaru budeme schopni vytvořit mysli, jejichž přesné hodnoty a rozhodovací procesy by mohly přetrvávat nezměněné donekonečna. Podobná dynamika by mohla platit i pro biologickou nesmrtelnost. Technologická exploze poháněná AGI by mohla dramaticky rozšířit nebo účinně odstranit biologická omezení lidského života prostřednictvím technologií zaměřených na základní mechanismy stárnutí. Za třetí, navrhování bytostí. V průběhu dějin došlo ke změně zčásti proto, že po sobě jdoucí generace nezdědily stejné hodnoty jako jejich předchůdci. Tato dynamika by se však mohla změnit po AGI. Pravděpodobně drtivá většina bytostí, které vytvoříme, budou umělé inteligence a budou to produkty designu – budeme si moci vybrat, jaké preference budou mít. A s dostatečnými technologickými schopnostmi bychom pravděpodobně byli schopni volit preference i našich biologických potomků. I když se lidé rozhodnou nežít věčně, jejich hodnoty by mohly nadále přetrvávat díky dokonalému přenosu z jedné generace na druhou. Za čtvrté, silná sebemodifikace. V budoucnu budou lidé pravděpodobně schopni upravit svá vlastní přesvědčení a preference tak, aby si mohli přesně vybrat, jaká přesvědčení a preference budou mít. Dnešní lidé by tedy mohli být schopni ovládat budoucí hodnoty společnosti tím, že budou žít věčně; Byli by také schopni ovládat hodnoty svého budoucího já. Náboženský fanatik se může rozhodnout, že bude mít neochvějnou jistotu, že jeho oblíbené náboženství je pravdivé; Ideologický extremista se může rozhodnout mít neodvolatelnou a neochvějnou preferenci ve prospěch své politické strany před jakoukoli jinou. Kromě vytvoření nových mechanismů, které umožňují trvalou závislost na cestě, by svět po AGI mohl také snížit příčiny narušení. V průběhu historie byly společenské změny často poháněny technologickými inovacemi, které narušovaly stávající mocenské struktury. Nicméně, jak se civilizace blíží k technologické zralosti – hypotetickému bodu, ve kterém byly vynalezeny všechny hlavní technologie – tento zdroj narušení by zmizel. Pokročilá technologie by pomohla zabránit i dalším druhům narušení. Dramaticky by zlepšila predikční schopnosti: pokročilé systémy umělé inteligence by mohly zpracovávat mnohem více informací, modelovat složité systémy s větší přesností a předpovídat výsledky v delších časových horizontech. Bylo by tedy mnohem méně pravděpodobné, že by se lidé vzdali svého vlivu jen tím, že by udělali nějakou chybu. A konečně, svět po AGI by mohl být charakterizován neomezenou dominancí v obraně, což by umožnilo trvale stabilní koncentraci moci. Zejména neomezená obranná nadvláda by mohla nastat v důsledku rozsáhlého osídlení vesmíru. Pokud jsou hvězdné systémy silně obranně dominantní, pak počáteční rozložení hvězdných systémů by mohlo být v principu zachováno neomezeně dlouho. Může se stát, že po počáteční alokaci dojde k obchodu nebo darování některých hvězdných systémů; Ale i kdyby tomu tak bylo, stále by existovala velmi silná závislost na dráze, protože konečné rozdělení hvězdných systémů by bylo extrémně ovlivněno počátečním rozdělením. Tyto problémy se mohou zdát jako vzdálené obavy – ale inteligence a průmyslové exploze je činí krátkodobými. Myslím, že je to více než 1 ze 3, kdy vidíme explozi inteligence, která začne v příštích 10 letech. A pokud pokročilá umělá inteligence povede k explozivnímu technologickému pokroku a průmyslové expanzi, pak mnoho nových mechanismů pro vytrvalost dorazí v rychlém sledu.

Článek zde: