A trajetória do futuro pode em breve ser gravada em pedra. Em um novo artigo, analiso os mecanismos pelos quais o curso do futuro de longo prazo pode ser determinado em nossas vidas. Isso inclui a criação de instituições impostas pela AGI, uma concentração global de poder, a colonização generalizada do espaço, os primeiros seres imortais, o design generalizado de novos seres e a capacidade de se automodificar de maneiras significativas e duradouras. Não estou muito confiante de que tais eventos ocorrerão, mas, na minha opinião, eles provavelmente são suficientes para tornar o trabalho para orientá-los em direções melhores muito valioso. Vamos pegar cada mecanismo por vez. Primeiro, instituições baseadas em AGI. Assim que tivermos a AGI, os tomadores de decisão poderão: - Estabeleça uma instituição e alinhe a AGI para que ela entenda essa constituição e tenha como objetivo a aplicação dessa constituição. - Capacitar essa AGI com a capacidade de fazer cumprir a constituição. - Armazene cópias dos pesos neurais do AGI em vários locais para reduzir o risco de destruição de qualquer uma das cópias. - Recarregue a AGI constitucional original para verificar se quaisquer AGIs encarregadas de garantir a conformidade com a constituição mantêm a adesão aos seus objetivos originais à medida que essas AGIs aprendem e atualizam seus pesos neurais ao longo do tempo. Seria como se, em vez de a Suprema Corte interpretar a Constituição dos EUA, pudéssemos evocar os fantasmas de Madison e Hamilton e perguntar-lhes diretamente - e suas opiniões fossem decisivas. Com isso em vigor, esta constituição aplicada pela AGI poderia operar indefinidamente. Em segundo lugar, a imortalidade. Ao longo da história, a morte funcionou como um freio natural à persistência de qualquer conjunto particular de valores ou estruturas de poder. Com o tempo, mesmo os valores mais arraigados acabam mudando à medida que as novas gerações substituem as antigas. A tecnologia pós-AGI pode alterar fundamentalmente essa dinâmica. Os seres digitais seriam inerentemente imunes ao envelhecimento biológico; Quando combinado com replicação perfeita e migração de hardware, seremos capazes de criar as mentes cujos valores exatos e processos de tomada de decisão podem persistir inalterados indefinidamente. Uma dinâmica semelhante poderia valer para a imortalidade biológica. Uma explosão tecnológica impulsionada pela AGI poderia estender drasticamente ou eliminar efetivamente as restrições biológicas à expectativa de vida humana por meio de tecnologias direcionadas aos mecanismos fundamentais do envelhecimento. Terceiro, projetar seres. Ao longo da história, a mudança aconteceu em parte porque as gerações sucessivas não herdam os mesmos valores de seus antepassados. Mas essa dinâmica pode mudar após a AGI. Provavelmente, a grande maioria dos seres que criamos será IA, e eles serão produtos de design – poderemos escolher quais preferências eles têm. E, com capacidade tecnológica suficiente, provavelmente também seríamos capazes de escolher as preferências de nossos filhos biológicos. Mesmo que as pessoas optem por não viver para sempre, seus valores podem continuar a persistir por meio da transmissão perfeita de uma geração para a outra. Quarto, forte automodificação. No futuro, as pessoas provavelmente serão capazes de modificar suas próprias crenças e preferências de modo que possam escolher com precisão quais crenças e preferências ter. Assim, não apenas as pessoas hoje podem ser capazes de controlar os valores futuros da sociedade vivendo para sempre; eles também seriam capazes de controlar os valores de seus futuros eus. Um fanático religioso pode optar por ter certeza inabalável de que sua religião favorita é verdadeira; Um extremista ideológico pode optar por ter uma preferência irrevogável e inabalável em favor de seu partido político sobre qualquer outro. Além de criar novos mecanismos que permitem a dependência persistente do caminho, um mundo pós-AGI também pode reduzir as causas da interrupção. Ao longo da história, as mudanças sociais foram frequentemente impulsionadas por inovações tecnológicas que perturbam as estruturas de poder existentes. No entanto, à medida que a civilização se aproxima da maturidade tecnológica - o ponto hipotético em que todas as principais tecnologias foram inventadas - essa fonte de ruptura desapareceria. A tecnologia avançada também ajudaria a evitar outros tipos de interrupção. Isso melhoraria drasticamente os recursos de previsão: sistemas avançados de IA poderiam processar muito mais informações, modelar sistemas complexos com maior precisão e prever resultados em horizontes de tempo mais longos. Portanto, seria muito menos provável que as pessoas abandonassem sua influência apenas cometendo algum erro. Finalmente, um mundo pós-AGI pode ser caracterizado por uma dominância de defesa indefinida, permitindo uma concentração de poder permanentemente estável. Em particular, o domínio indefinido da defesa pode surgir como resultado de um assentamento espacial generalizado. Se os sistemas estelares são fortemente dominantes na defesa, então a distribuição inicial dos sistemas estelares poderia, em princípio, ser mantida indefinidamente. Pode ser que, após a alocação inicial, haja comércio ou doação de alguns sistemas estelares; Mas mesmo assim, ainda haveria uma dependência de trajetória muito forte, já que a alocação final de sistemas estelares seria extremamente influenciada pela alocação inicial. Essas questões podem parecer preocupações distantes - mas a inteligência e as explosões industriais as tornam de curto prazo. Acho que é mais de 1 em cada 3 que vemos uma explosão de inteligência começando nos próximos 10 anos. E se a IA avançada resultar em progresso tecnológico explosivo e expansão industrial, muitos dos novos mecanismos de persistência chegarão em rápida sucessão.

Artigo aqui: