Trajektoria przyszłości może wkrótce zostać ustalona na stałe. W nowym artykule przyglądam się mechanizmom, dzięki którym kurs długoterminowej przyszłości może zostać określony w naszym życiu. Należą do nich stworzenie instytucji egzekwowanych przez AGI, globalna koncentracja władzy, powszechna kolonizacja przestrzeni, pierwsze nieśmiertelne istoty, powszechne projektowanie nowych istot oraz zdolność do samodzielnej modyfikacji w znaczący i trwały sposób. Nie jestem zbyt pewny, że takie wydarzenia nastąpią, ale moim zdaniem są wystarczająco prawdopodobne, aby praca nad skierowaniem ich w lepsze kierunki była bardzo wartościowa. Przyjrzyjmy się każdemu mechanizmowi z osobna. Po pierwsze, instytucje oparte na AGI. Gdy już będziemy mieć AGI, decydenci mogliby: - Ustanowić instytucję i dostosować AGI tak, aby rozumiało tę konstytucję i miało egzekwowanie tej konstytucji jako swój cel. - Wyposażyć tę AGI w zdolność do egzekwowania konstytucji. - Przechowywać kopie wag neuronowych AGI w wielu lokalizacjach, aby zredukować ryzyko zniszczenia którejkolwiek z kopii. - Załadować oryginalną AGI-Konstytucję, aby sprawdzić, czy jakiekolwiek AGI, które mają za zadanie zapewnienie zgodności z konstytucją, utrzymują przestrzeganie swoich pierwotnych celów, gdy te AGI uczą się i aktualizują swoje wagi neuronowe w czasie. Byłoby to tak, jakby zamiast tego, aby Sąd Najwyższy interpretował Konstytucję USA, mogliśmy przywołać duchy Madisona i Hamiltona i zapytać ich bezpośrednio - a ich poglądy byłyby decydujące. Z tymi w miejscu, ta konstytucja egzekwowana przez AGI mogłaby działać w nieskończoność. Po drugie, nieśmiertelność. W całej historii śmierć działała jako naturalny hamulec dla utrzymywania jakiegoś konkretnego zestawu wartości lub struktur władzy. Z biegiem czasu nawet najbardziej zakorzenione wartości ostatecznie się zmieniają, gdy nowe pokolenia zastępują stare. Technologia po AGI mogłaby zasadniczo zmienić tę dynamikę. Istoty cyfrowe byłyby z natury odporne na biologiczne starzenie się; w połączeniu z doskonałą replikacją i migracją sprzętu, będziemy w stanie stworzyć umysły, których dokładne wartości i procesy decyzyjne mogłyby utrzymywać się niezmienione w nieskończoność. Podobna dynamika mogłaby dotyczyć biologicznej nieśmiertelności. Eksplozja technologiczna napędzana przez AGI mogłaby dramatycznie wydłużyć lub skutecznie wyeliminować biologiczne ograniczenia dotyczące długości życia ludzi poprzez technologie celujące w fundamentalne mechanizmy starzenia się. Po trzecie, projektowanie istot. W historii zmiany zachodziły częściowo dlatego, że kolejne pokolenia nie dziedziczyły tych samych wartości co ich przodkowie. Ale ta dynamika mogłaby się zmienić po AGI. Prawdopodobnie ogromna większość istot, które stworzymy, będzie AI, a one będą produktami projektowania - będziemy mogli wybierać, jakie preferencje będą miały. A przy wystarczających możliwościach technologicznych, prawdopodobnie będziemy mogli również wybierać preferencje naszych biologicznych potomków. Nawet jeśli ludzie zdecydują się nie żyć wiecznie, ich wartości mogą nadal utrzymywać się poprzez doskonałe przekazywanie z pokolenia na pokolenie. Po czwarte, silna samomodyfikacja. W przyszłości ludzie prawdopodobnie będą mogli modyfikować swoje własne przekonania i preferencje w taki sposób, że będą mogli precyzyjnie wybierać, jakie przekonania i preferencje mają. Tak więc, nie tylko ludzie dzisiaj mogliby kontrolować przyszłe wartości społeczeństwa, żyjąc wiecznie; mogliby również kontrolować wartości swoich przyszłych ja. Religijny fanatyk mógłby wybrać, aby mieć niezachwianą pewność, że jego ulubiona religia jest prawdziwa; ideologiczny ekstremista mógłby wybrać, aby mieć nieodwołalną i niewzruszoną preferencję na rzecz swojej partii politycznej ponad jakąkolwiek inną. Oprócz tworzenia nowych mechanizmów, które umożliwiają trwałą zależność od ścieżki, świat po AGI mógłby również zredukować przyczyny zakłóceń. W całej historii zmiany społeczne często były napędzane przez innowacje technologiczne, które zakłócały istniejące struktury władzy. Jednak w miarę jak cywilizacja zbliża się do technologicznej dojrzałości - hipotetycznego punktu, w którym wynaleziono wszystkie główne technologie - to źródło zakłóceń zniknie. Zaawansowana technologia pomogłaby również zapobiegać innym rodzajom zakłóceń. Dramaturgicznie poprawiłaby zdolności przewidywania: zaawansowane systemy AI mogłyby przetwarzać znacznie więcej informacji, modelować złożone systemy z większą precyzją i prognozować wyniki na dłuższe horyzonty czasowe. Tak więc, znacznie mniej prawdopodobne byłoby, że ludzie zrezygnują ze swojego wpływu tylko przez popełnienie jakiegoś błędu. Wreszcie, świat po AGI mógłby charakteryzować się nieograniczoną dominacją obronną, umożliwiającą permanentnie stabilną koncentrację władzy. W szczególności nieograniczona dominacja obronna mogłaby powstać w wyniku powszechnej kolonizacji przestrzeni. Jeśli systemy gwiezdne są silnie dominujące obronnie, to początkowy rozkład systemów gwiezdnych mógłby, w zasadzie, być utrzymywany w nieskończoność. Może się zdarzyć, że po początkowej alokacji nastąpi handel lub darowizna niektórych systemów gwiezdnych; ale nawet jeśli tak, nadal istniałaby bardzo silna zależność od ścieżki, ponieważ ostateczna alokacja systemów gwiezdnych byłaby w dużym stopniu wpływana przez początkową alokację. Te kwestie mogą wydawać się odległymi zmartwieniami - ale eksplozje inteligencji i przemysłowe sprawiają, że są one bliskoterminowe. Uważam, że prawdopodobieństwo, że zobaczymy eksplozję inteligencji w ciągu następnych 10 lat, wynosi ponad 1 do 3. A jeśli zaawansowana AI prowadzi do eksplozji postępu technologicznego i ekspansji przemysłowej, to wiele nowych mechanizmów dla trwałości pojawi się w szybkim tempie.

Dokument tutaj: