"Apa p(doom) Anda dari AGI?" ... Ini pertanyaan yang buruk Pembicaraan "p(doom)" adalah hal yang umum untuk didengar di pesta SF dan di tempat lain, tetapi menjengkelkan karena ada begitu banyak kebingungan antara hal-hal berikut: 1. Kemungkinan malapetaka jika (a) AGI dibangun dan (b) kita tidak memiliki perubahan dalam tingkat rekayasa keselamatan / kebijakan keselamatan / penyelarasan daripada yang kita miliki saat ini - pada dasarnya tingkat malapetaka dengan bisnis seperti biasa dan teknik saat ini dengan asumsi tidak ada yang lebih memperhatikan daripada yang sudah mereka lakukan. 2. Kemungkinan malapetaka jika AGI dibangun (tetapi memungkinkan kemungkinan kita dapat secara dramatis meningkatkan keamanan dan/atau menyelesaikan keselarasan atau semacamnya). 3. Kemungkinan malapetaka selama periode waktu tertentu, termasuk keduanya (a) kemungkinan AGI tidak pernah dibangun, AGI ternyata terlalu sulit untuk dibuat, kami salah tentang pengembangan kemampuan AI dan (b) kemungkinan kami dapat secara dramatis meningkatkan keselamatan dan/atau menyelesaikan keselarasan atau semacamnya Orang-orang yang meragukan antara tiga arti yang berbeda ini membuatnya sangat sulit untuk melakukan percakapan tentang ini. Selain itu, gagasan "malapetaka" itu sendiri juga cukup membingungkan. Beberapa menganggapnya hanya berarti kepunahan manusia. Beberapa orang mengatakan bahwa jika seluruh umat manusia jauh lebih baik dari hari ini tetapi kita tidak pernah mencapai potensi galaksi terbesar kita di masa depan daripada kita masih dalam "malapetaka" – dan banyak di antaranya. Jika itu adalah tahun 2100 dan ada satu triliun orang di Bumi yang masing-masing memiliki kualitas hidup "1% teratas di AS pada tahun 2025", apakah itu akan menjadi "malapetaka"? Ada yang mengatakan ya, ada yang mengatakan tidak. Ini membuatnya semakin sulit untuk melakukan percakapan tentang hal ini jika kita bahkan tidak tahu apa itu "malapetaka". Jadi jika Anda bertanya kepada saya "Apa p(doom) Anda dari AGI?" Saya harus mengatakan "Tolong tanyakan saja kepada saya pertanyaan normal".