A trajetória do futuro pode em breve ser definida de forma definitiva. Num novo artigo, analiso os mecanismos através dos quais o curso do futuro a longo prazo pode ser determinado durante as nossas vidas. Estes incluem a criação de instituições reforçadas por AGI, uma concentração global de poder, a colonização generalizada do espaço, os primeiros seres imortais, o design generalizado de novos seres e a capacidade de se auto-modificar de maneiras significativas e duradouras. Não estou muito confiante de que tais eventos ocorrerão, mas na minha opinião, são suficientemente prováveis para que o trabalho para orientá-los em direções melhores seja muito valioso. Vamos analisar cada mecanismo por sua vez. Primeiro, instituições baseadas em AGI. Uma vez que tenhamos AGI, os tomadores de decisão poderiam: - Estabelecer uma instituição e alinhar a AGI de modo que ela compreenda essa constituição e tenha a aplicação dessa constituição como seu objetivo. - Capacitar essa AGI com a habilidade de fazer cumprir a constituição. - Armazenar cópias dos pesos neurais da AGI em múltiplas localizações para reduzir o risco de destruição de qualquer uma das cópias. - Recarregar a AGI Constitucional original para verificar se quaisquer AGIs encarregadas de garantir a conformidade com a constituição mantêm a adesão aos seus objetivos originais à medida que essas AGIs aprendem e atualizam seus pesos neurais ao longo do tempo. Isso seria como se, em vez de ter a Suprema Corte a interpretar a Constituição dos EUA, pudéssemos conjurar os fantasmas de Madison e Hamilton e perguntar-lhes diretamente - e as suas opiniões seriam decisivas. Com isso em vigor, essa constituição reforçada por AGI poderia operar indefinidamente. Segundo, imortalidade. Ao longo da história, a morte funcionou como um freio natural na persistência de qualquer conjunto particular de valores ou estruturas de poder. Com o tempo, mesmo os valores mais enraizados eventualmente mudam à medida que novas gerações substituem as antigas. A tecnologia pós-AGI poderia alterar fundamentalmente essa dinâmica. Seres digitais seriam inerentemente imunes ao envelhecimento biológico; quando combinados com replicação perfeita e migração de hardware, seremos capazes de criar mentes cujos valores exatos e processos de tomada de decisão poderiam persistir inalterados indefinidamente. Uma dinâmica semelhante poderia ocorrer para a imortalidade biológica. Uma explosão tecnológica impulsionada por AGI poderia estender dramaticamente ou efetivamente eliminar as limitações biológicas sobre a longevidade humana através de tecnologias que visam os mecanismos fundamentais do envelhecimento. Terceiro, design de seres. Ao longo da história, a mudança ocorreu em parte porque as gerações sucessivas não herdam os mesmos valores que seus antecessores. Mas essa dinâmica poderia mudar após a AGI. Provavelmente, a vasta maioria dos seres que criamos será IA, e eles serão produtos de design — seremos capazes de escolher quais preferências eles terão. E, com capacidade tecnológica suficiente, provavelmente seremos capazes de escolher as preferências de nossa prole biológica também. Mesmo que as pessoas escolham não viver para sempre, seus valores poderiam continuar a persistir através da transmissão perfeita de uma geração para a próxima. Quarto, auto-modificação forte. No futuro, as pessoas provavelmente poderão modificar suas próprias crenças e preferências de modo que possam escolher precisamente quais crenças e preferências ter. Assim, não só as pessoas de hoje poderiam controlar os valores futuros da sociedade vivendo para sempre; elas também poderiam controlar os valores de seus futuros eus. Um fanático religioso poderia escolher ter uma certeza inabalável de que sua religião favorita é verdadeira; um extremista ideológico poderia escolher ter uma preferência irrevogável e inabalável em favor de seu partido político em detrimento de qualquer outro. Além de criar novos mecanismos que permitem a dependência persistente de caminhos, um mundo pós-AGI também poderia reduzir as causas de interrupção. Ao longo da história, as mudanças sociais muitas vezes foram impulsionadas por inovações tecnológicas que interrompem estruturas de poder existentes. No entanto, à medida que a civilização se aproxima da maturidade tecnológica — o ponto hipotético em que todas as principais tecnologias foram inventadas — essa fonte de interrupção desapareceria. Tecnologia avançada ajudaria a prevenir outros tipos de interrupção também. Melhoraria dramaticamente as capacidades de previsão: sistemas de IA avançados poderiam processar vastamente mais informações, modelar sistemas complexos com maior precisão e prever resultados ao longo de horizontes de tempo mais longos. Assim, seria muito menos provável que as pessoas renunciassem à sua influência apenas cometendo algum erro. Finalmente, um mundo pós-AGI poderia ser caracterizado por uma dominância indefinida de defesa, permitindo uma concentração de poder permanentemente estável. Em particular, a dominância indefinida de defesa poderia surgir como resultado da colonização generalizada do espaço. Se os sistemas estelares forem fortemente dominantes em defesa, então a distribuição inicial dos sistemas estelares poderia, em princípio, ser mantida indefinidamente. Poderia ser que, após a alocação inicial, haja comércio ou doação de alguns sistemas estelares; mas mesmo assim, ainda haveria uma dependência de caminho muito forte, uma vez que a alocação final dos sistemas estelares seria extremamente influenciada pela alocação inicial. Essas questões podem parecer preocupações distantes - mas as explosões de inteligência e industrial tornam-nas de curto prazo. Acho que é mais de 1 em 3 que vemos uma explosão de inteligência começando nos próximos 10 anos. E se a IA avançada resultar em um progresso tecnológico explosivo e expansão industrial, então muitos dos novos mecanismos para a persistência chegarão em rápida sucessão.

Papel aqui: