La traiettoria del futuro potrebbe presto essere fissata nella pietra. In un nuovo documento, esamino i meccanismi attraverso i quali il corso del lungo termine potrebbe essere determinato nel corso delle nostre vite. Questi includono la creazione di istituzioni enforce AGI, una concentrazione globale di potere, la colonizzazione diffusa dello spazio, i primi esseri immortali, la progettazione diffusa di nuovi esseri e la capacità di auto-modificarsi in modi significativi e duraturi. Non sono molto sicuro che tali eventi si verificheranno, ma a mio avviso sono abbastanza probabili da rendere molto prezioso il lavoro per indirizzarli in direzioni migliori. Esaminiamo ciascun meccanismo a turno. Primo, istituzioni basate su AGI. Una volta che avremo l'AGI, i decisori potrebbero: - Creare un'istituzione e allineare l'AGI in modo che comprenda quella costituzione e abbia come obiettivo l'applicazione di quella costituzione. - Dotare quell'AGI della capacità di far rispettare la costituzione. - Conservare copie dei pesi neurali dell'AGI in più posizioni per ridurre il rischio di distruzione di una qualsiasi delle copie. - Ricaricare l'AGI Costituzionale originale per verificare che qualsiasi AGI incaricata di garantire la conformità alla costituzione mantenga l'aderenza ai propri obiettivi originali mentre quegli AGI apprendono e aggiornano i loro pesi neurali nel tempo. Sarebbe come se, invece di avere la Corte Suprema che interpreta la Costituzione degli Stati Uniti, potessimo evocare i fantasmi di Madison e Hamilton e chiedere loro direttamente - e le loro opinioni fossero decisive. Con questi in atto, questa costituzione enforce AGI potrebbe operare indefinitamente. Secondo, immortalità. Nel corso della storia, la morte ha funzionato come un freno naturale sulla persistenza di un particolare insieme di valori o strutture di potere. Col tempo, anche i valori più radicati alla fine cambiano man mano che le nuove generazioni sostituiscono le vecchie. La tecnologia post-AGI potrebbe alterare fondamentalmente questa dinamica. Gli esseri digitali sarebbero intrinsecamente immuni all'invecchiamento biologico; quando combinati con la replicazione perfetta e la migrazione hardware, saremo in grado di creare le menti i cui valori esatti e processi decisionali potrebbero persistere invariati indefinitamente. Una dinamica simile potrebbe valere per l'immortalità biologica. Un'esplosione tecnologica guidata dall'AGI potrebbe estendere drammaticamente o eliminare efficacemente i vincoli biologici sulla durata della vita umana attraverso tecnologie che mirano ai meccanismi fondamentali dell'invecchiamento. Terzo, progettazione di esseri. Nel corso della storia, il cambiamento è avvenuto in parte perché le generazioni successive non ereditano gli stessi valori dei loro antenati. Ma questa dinamica potrebbe cambiare dopo l'AGI. Probabilmente, la stragrande maggioranza degli esseri che creiamo sarà AI, e saranno prodotti di design - saremo in grado di scegliere quali preferenze avranno. E, con una sufficiente capacità tecnologica, saremmo probabilmente in grado di scegliere anche le preferenze dei nostri discendenti biologici. Anche se le persone scelgono di non vivere per sempre, i loro valori potrebbero continuare a persistere attraverso una trasmissione perfetta da una generazione all'altra. Quarto, forte auto-modificazione. In futuro, le persone probabilmente saranno in grado di modificare le proprie credenze e preferenze in modo da poter scegliere esattamente quali credenze e preferenze avere. Quindi, non solo le persone di oggi potrebbero essere in grado di controllare i valori futuri della società vivendo per sempre; sarebbero anche in grado di controllare i valori dei loro futuri sé. Un fanatico religioso potrebbe scegliere di avere una certezza incrollabile che la propria religione preferita sia vera; un estremista ideologico potrebbe scegliere di avere una preferenza irrevocabile e incrollabile a favore del proprio partito politico rispetto a qualsiasi altro. Oltre a creare nuovi meccanismi che abilitano una dipendenza persistente dal percorso, un mondo post-AGI potrebbe anche ridurre le cause di interruzione. Nel corso della storia, i cambiamenti sociali sono stati spesso guidati da innovazioni tecnologiche che interrompono le strutture di potere esistenti. Tuttavia, man mano che la civiltà si avvicina alla maturità tecnologica - il punto ipotetico in cui tutte le principali tecnologie sono state inventate - questa fonte di interruzione scomparirebbe. La tecnologia avanzata aiuterebbe anche a prevenire altri tipi di interruzione. Migliorerebbe drammaticamente le capacità di previsione: i sistemi AI avanzati potrebbero elaborare enormi quantità di informazioni, modellare sistemi complessi con maggiore precisione e prevedere risultati su orizzonti temporali più lunghi. Quindi sarebbe molto meno probabile che le persone rinuncino alla loro influenza semplicemente commettendo qualche errore. Infine, un mondo post-AGI potrebbe essere caratterizzato da una dominanza difensiva indefinita, consentendo una concentrazione di potere permanentemente stabile. In particolare, la dominanza difensiva indefinita potrebbe derivare dalla colonizzazione diffusa dello spazio. Se i sistemi stellari sono fortemente dominanti in difesa, allora la distribuzione iniziale dei sistemi stellari potrebbe, in linea di principio, essere mantenuta indefinitamente. Potrebbe essere che, dopo l'allocazione iniziale, ci sia commercio o donazione di alcuni sistemi stellari; ma anche in tal caso, ci sarebbe comunque una forte dipendenza dal percorso, poiché l'allocazione finale dei sistemi stellari sarebbe estremamente influenzata dall'allocazione iniziale. Questi problemi potrebbero sembrare preoccupazioni lontane - ma le esplosioni di intelligenza e industriali li rendono a breve termine. Penso che ci sia oltre 1 su 3 che vediamo un'esplosione di intelligenza iniziare nei prossimi 10 anni. E se l'AI avanzata porta a un progresso tecnologico esplosivo e a un'espansione industriale, allora molti dei nuovi meccanismi per la persistenza arriveranno in rapida successione.

Carta qui: