La trayectoria del futuro podría pronto quedar grabada en piedra. En un nuevo artículo, analizo los mecanismos a través de los cuales el curso del futuro a largo plazo podría determinarse dentro de nuestras vidas. Estos incluyen la creación de instituciones impuestas por AGI, una concentración global de poder, el asentamiento generalizado del espacio, los primeros seres inmortales, el diseño generalizado de nuevos seres y la capacidad de auto-modificarse de maneras significativas y duraderas. No tengo mucha confianza en que tales eventos ocurran, pero en mi opinión son lo suficientemente probables como para que el trabajo para orientarlos en mejores direcciones sea muy valioso. Tomemos cada mecanismo por turno. Primero, instituciones basadas en AGI. Una vez que tengamos AGI, los tomadores de decisiones podrían: - Establecer una institución y alinear la AGI para que entienda esa constitución y tenga la aplicación de esa constitución como su objetivo. - Dotar a esa AGI con la capacidad de hacer cumplir la constitución. - Almacenar copias de los pesos neuronales de la AGI en múltiples ubicaciones para reducir el riesgo de destrucción de cualquiera de las copias. - Recargar la AGI Constitucional original para verificar que cualquier AGI encargada de asegurar el cumplimiento de la constitución mantenga la adherencia a sus objetivos originales a medida que esas AGI aprenden y actualizan sus pesos neuronales con el tiempo. Esto sería como si, en lugar de que la Corte Suprema interpretara la Constitución de EE. UU., pudiéramos conjurar los fantasmas de Madison y Hamilton y preguntarles directamente - y sus opiniones fueran decisivas. Con esto en su lugar, esta constitución impuesta por AGI podría operar indefinidamente. Segundo, inmortalidad. A lo largo de la historia, la muerte ha funcionado como un freno natural a la persistencia de cualquier conjunto particular de valores o estructuras de poder. Con el tiempo, incluso los valores más arraigados eventualmente cambian a medida que nuevas generaciones reemplazan a las viejas. La tecnología post-AGI podría alterar fundamentalmente esta dinámica. Los seres digitales serían inherentemente inmunes al envejecimiento biológico; cuando se combinan con la replicación perfecta y la migración de hardware, podremos crear las mentes cuyos valores exactos y procesos de toma de decisiones podrían persistir sin cambios indefinidamente. Una dinámica similar podría aplicarse a la inmortalidad biológica. Una explosión tecnológica impulsada por AGI podría extender drásticamente o eliminar efectivamente las limitaciones biológicas sobre la esperanza de vida humana a través de tecnologías que abordan los mecanismos fundamentales del envejecimiento. Tercero, diseñar seres. A lo largo de la historia, el cambio ha ocurrido en parte porque las generaciones sucesivas no heredan los mismos valores que sus antepasados. Pero esta dinámica podría cambiar después de AGI. Probablemente, la gran mayoría de los seres que creemos serán IA, y serán productos de diseño: podremos elegir qué preferencias tienen. Y, con suficiente capacidad tecnológica, probablemente también podríamos elegir las preferencias de nuestra descendencia biológica. Incluso si las personas eligen no vivir para siempre, sus valores podrían continuar persistiendo a través de una transmisión perfecta de una generación a la siguiente. Cuarto, auto-modificación fuerte. En el futuro, las personas probablemente podrán modificar sus propias creencias y preferencias de tal manera que puedan elegir con precisión qué creencias y preferencias tener. Así que, no solo las personas de hoy podrían controlar los valores futuros de la sociedad al vivir para siempre; también podrían controlar los valores de sus futuros yo. Un fanático religioso podría elegir tener una certeza inquebrantable de que su religión preferida es verdadera; un extremista ideológico podría elegir tener una preferencia irrevocable e inquebrantable a favor de su partido político sobre cualquier otro. Además de crear nuevos mecanismos que permiten una dependencia persistente del camino, un mundo post-AGI también podría reducir las causas de interrupción. A lo largo de la historia, los cambios sociales a menudo han sido impulsados por innovaciones tecnológicas que interrumpen las estructuras de poder existentes. Sin embargo, a medida que la civilización se acerca a la madurez tecnológica—el punto hipotético en el que se han inventado todas las tecnologías principales—esta fuente de interrupción desaparecería. La tecnología avanzada también ayudaría a prevenir otros tipos de interrupción. Mejoraría drásticamente las capacidades de predicción: los sistemas de IA avanzados podrían procesar vastamente más información, modelar sistemas complejos con mayor precisión y prever resultados a lo largo de horizontes de tiempo más largos. Así que sería mucho menos probable que las personas renunciaran a su influencia simplemente cometiendo algún error. Finalmente, un mundo post-AGI podría caracterizarse por una dominancia indefinida en defensa, lo que permitiría una concentración de poder permanentemente estable. En particular, la dominancia indefinida en defensa podría surgir como resultado del asentamiento generalizado del espacio. Si los sistemas estelares son fuertemente dominantes en defensa, entonces la distribución inicial de los sistemas estelares podría, en principio, mantenerse indefinidamente. Podría ser que, después de la asignación inicial, haya comercio o donación de algunos sistemas estelares; pero incluso así, habría una dependencia del camino muy fuerte, ya que la asignación final de los sistemas estelares estaría extremadamente influenciada por la asignación inicial. Estos problemas podrían parecer preocupaciones lejanas, pero las explosiones de inteligencia e industrial las hacen a corto plazo. Creo que hay más de 1 en 3 de que veamos una explosión de inteligencia comenzando en los próximos 10 años. Y si la IA avanzada resulta en un progreso tecnológico explosivo y expansión industrial, entonces muchos de los nuevos mecanismos para la persistencia llegarán en rápida sucesión.

Ponlo aquí: