Lintasan masa depan bisa segera ditetapkan. Dalam sebuah makalah baru, saya melihat mekanisme di mana perjalanan masa depan jangka panjang dapat ditentukan dalam kehidupan kita. Ini termasuk penciptaan lembaga-lembaga yang ditegakkan AGI, konsentrasi kekuasaan global, pemukiman ruang angkasa yang meluas, makhluk abadi pertama, desain makhluk baru yang tersebar luas, dan kemampuan untuk memodifikasi diri sendiri dengan cara yang signifikan dan langgeng. Saya tidak terlalu yakin bahwa peristiwa seperti itu akan terjadi, tetapi dalam pandangan saya mereka kemungkinan cukup untuk membuat pekerjaan untuk mengarahkannya ke arah yang lebih baik sangat berharga. Mari kita ambil setiap mekanisme secara bergantian. Pertama, lembaga berbasis AGI. Setelah kami memiliki AGI, pembuat keputusan dapat: - Mendirikan lembaga, dan menyelaraskan AGI sehingga memahami konstitusi itu dan memiliki penegakan konstitusi itu sebagai tujuannya. - Memberdayakan AGI itu dengan kemampuan untuk menegakkan konstitusi. - Simpan salinan bobot saraf AGI di beberapa lokasi untuk mengurangi risiko penghancuran salah satu salinan. - Muat ulang AGI Konstitusional asli untuk memeriksa apakah setiap AGI yang ditugaskan untuk memastikan kepatuhan terhadap konstitusi mempertahankan kepatuhan terhadap tujuan awal mereka saat AGI tersebut mempelajari dan memperbarui bobot saraf mereka dari waktu ke waktu. Ini akan seolah-olah, alih-alih meminta Mahkamah Agung menafsirkan Konstitusi AS, kita dapat memunculkan hantu Madison dan Hamilton dan bertanya kepada mereka secara langsung - dan pandangan mereka sangat menentukan. Dengan ini, konstitusi yang ditegakkan AGI ini dapat beroperasi tanpa batas waktu. Kedua, keabadian. Sepanjang sejarah, kematian telah berfungsi sebagai rem alami pada kegigihan seperangkat nilai atau struktur kekuasaan tertentu. Seiring waktu, bahkan nilai-nilai yang paling mengakar pun akhirnya berubah seiring dengan generasi baru menggantikan yang lama. Teknologi pasca-AGI secara fundamental dapat mengubah dinamika ini. Makhluk digital secara inheren akan kebal terhadap penuaan biologis; Ketika dikombinasikan dengan replikasi sempurna dan migrasi perangkat keras, kita akan dapat menciptakan pikiran yang nilainya dan proses pengambilan keputusan yang tepat dapat bertahan tidak berubah tanpa batas waktu. Dinamika serupa bisa berlaku untuk keabadian biologis. Ledakan teknologi yang didorong oleh AGI dapat secara dramatis memperluas atau secara efektif menghilangkan kendala biologis pada umur manusia melalui teknologi yang menargetkan mekanisme dasar penuaan. Ketiga, merancang makhluk. Sepanjang sejarah, perubahan telah terjadi sebagian karena generasi berturut-turut tidak mewarisi nilai-nilai yang sama dengan nenek moyang mereka. Tetapi dinamika ini bisa berubah setelah AGI. Mungkin, sebagian besar makhluk yang kita ciptakan akan menjadi AI, dan mereka akan menjadi produk desain - kita akan dapat memilih preferensi apa yang mereka miliki. Dan, dengan kemampuan teknologi yang memadai, kita kemungkinan akan dapat memilih preferensi keturunan biologis kita juga. Bahkan jika orang memilih untuk tidak hidup selamanya, nilai-nilai mereka dapat terus bertahan melalui transmisi sempurna dari satu generasi ke generasi berikutnya. Keempat, modifikasi diri yang kuat. Di masa depan, orang mungkin akan dapat memodifikasi keyakinan dan preferensi mereka sendiri sehingga mereka dapat dengan tepat memilih keyakinan dan preferensi apa yang harus dimiliki. Jadi, tidak hanya orang saat ini yang dapat mengendalikan nilai-nilai masa depan masyarakat dengan hidup selamanya; mereka juga akan dapat mengendalikan nilai-nilai diri mereka di masa depan. Seorang fanatik religius mungkin memilih untuk memiliki kepastian yang tak tergoyahkan bahwa agama favorit mereka adalah benar; Seorang ekstremis ideologis mungkin memilih untuk memiliki preferensi yang tidak dapat dibatalkan dan tak tergoyahkan untuk mendukung partai politik mereka daripada yang lain. Selain menciptakan mekanisme baru yang memungkinkan ketergantungan jalur yang terus-menerus, dunia pasca-AGI juga dapat mengurangi penyebab gangguan. Sepanjang sejarah, perubahan masyarakat sering didorong oleh inovasi teknologi yang mengganggu struktur kekuasaan yang ada. Namun, ketika peradaban mendekati kematangan teknologi—titik hipotetis di mana semua teknologi utama telah ditemukan—sumber gangguan ini akan menghilang. Teknologi canggih juga akan membantu mencegah jenis gangguan lainnya. Ini akan secara dramatis meningkatkan kemampuan prediksi: sistem AI canggih dapat memproses lebih banyak informasi, memodelkan sistem kompleks dengan presisi yang lebih tinggi, dan memperkirakan hasil dalam jangka waktu yang lebih lama. Jadi akan jauh lebih kecil kemungkinannya orang akan melepaskan pengaruh mereka hanya dengan membuat beberapa kesalahan. Akhirnya, dunia pasca-AGI mungkin dicirikan oleh dominasi pertahanan yang tidak terbatas, memungkinkan konsentrasi kekuatan yang stabil secara permanen. Secara khusus, dominasi pertahanan yang tidak terbatas dapat terjadi sebagai akibat dari penyelesaian ruang angkasa yang meluas. Jika sistem bintang sangat dominan pertahanan, maka distribusi awal sistem bintang dapat, pada prinsipnya, dipegang tanpa batas waktu. Mungkin, setelah alokasi awal, ada perdagangan atau pemberian beberapa sistem bintang; Tetapi bahkan jika demikian, masih akan ada ketergantungan jalur yang sangat kuat, karena alokasi akhir sistem bintang akan sangat dipengaruhi oleh alokasi awal. Isu-isu ini mungkin tampak seperti kekhawatiran yang jauh - tetapi ledakan intelijen dan industri membuatnya dalam waktu dekat. Saya pikir lebih dari 1 dari 3 kita melihat ledakan intelijen yang dimulai dalam 10 tahun ke depan. Dan jika AI canggih menghasilkan kemajuan teknologi yang eksplosif dan ekspansi industri, maka banyak mekanisme baru untuk ketekunan akan tiba secara berturut-turut.

Makalah di sini: