"Jakie jest twoje p(doom) z AGI?" ...to złe pytanie Rozmowy o "p(doom)" to powszechny temat na imprezach w SF i nie tylko, ale są irytujące, ponieważ istnieje wiele nieporozumień między następującymi: 1. Prawdopodobieństwo zagłady, jeśli (a) AGI zostanie zbudowane i (b) nie wprowadzimy żadnych zmian w poziomach inżynierii bezpieczeństwa / politykach bezpieczeństwa / dostosowaniu w porównaniu do tego, co mamy dzisiaj -- zasadniczo poziom zagłady przy normalnym trybie działania i obecnych technikach, zakładając, że nikt nie zwróci na to większej uwagi niż już to robi. 2. Prawdopodobieństwo zagłady, jeśli AGI zostanie zbudowane (ale z możliwością, że możemy dramatycznie zwiększyć bezpieczeństwo i/lub rozwiązać problem dostosowania lub coś w tym stylu). 3. Prawdopodobieństwo zagłady w danym okresie czasu, obejmujące zarówno (a) szansę, że AGI nigdy nie zostanie zbudowane, AGI okaże się zbyt trudne do stworzenia, mylimy się co do rozwoju zdolności AI oraz (b) możliwość, że możemy dramatycznie zwiększyć bezpieczeństwo i/lub rozwiązać problem dostosowania lub coś w tym stylu. Ludzie mylą te trzy różne znaczenia, co utrudnia prowadzenie rozmowy na ten temat. Dodatkowo, pojęcie "zagłady" samo w sobie jest również dość mylące. Niektórzy uważają, że oznacza to tylko wyginięcie ludzkości. Niektórzy mówią, że jeśli cała ludzkość będzie znacznie lepsza niż dzisiaj, ale nigdy nie osiągniemy naszego największego możliwego galaktycznego potencjału, to nadal jesteśmy w "zagładzie" -- a wiele w międzyczasie. Gdyby był rok 2100 i na Ziemi byłoby jeden bilion ludzi, z których każdy miałby jakość życia "top 1% w USA w 2025 roku", czy to byłoby "zagładą"? Niektórzy mówią tak, niektórzy mówią nie. To jeszcze bardziej utrudnia prowadzenie rozmowy na ten temat, jeśli nawet nie wiemy, co oznacza "zagłada". Więc jeśli zapytasz mnie "Jakie jest twoje p(doom) z AGI?", muszę powiedzieć "Proszę, po prostu zadaj mi normalne pytanie".