"Какова ваша p(doom) от AGI?" ...это плохой вопрос Разговоры о "p(doom)" - это обычное дело на вечеринках в SF и не только, но это раздражает, потому что существует много путаницы между следующими: 1. Вероятность катастрофы, если (а) AGI будет создан и (б) у нас не будет никаких изменений в уровнях инженерии безопасности / политике безопасности / согласования, чем у нас есть сегодня -- по сути, уровень катастрофы при обычных условиях и текущих методах, предполагая, что никто не обратит больше внимания, чем уже делает. 2. Вероятность катастрофы, если AGI будет создан (но с учетом возможности, что мы можем значительно увеличить безопасность и/или решить проблему согласования или что-то в этом роде). 3. Вероятность катастрофы за определенный период времени, включая как (а) шанс, что AGI просто никогда не будет создан, AGI оказывается слишком сложным для создания, мы ошибаемся в отношении развития возможностей ИИ, так и (б) возможность, что мы можем значительно увеличить безопасность и/или решить проблему согласования или что-то в этом роде. Люди, которые путают эти три разных значения, затрудняют разговор об этом. Кроме того, само понятие "катастрофы" также довольно запутано. Некоторые понимают это как просто человеческое вымирание. Некоторые говорят, что если все человечество будет намного лучше, чем сегодня, но мы никогда не достигнем нашего величайшего возможного будущего галактического потенциала, то мы все равно находимся в "катастрофе" -- и много промежуточного. Если бы был 2100 год, и на Земле было бы один триллион людей, каждый из которых имел бы качество жизни "топ 1% в США в 2025 году", было бы это "катастрофой"? Некоторые говорят да, некоторые говорят нет. Это делает разговор об этом еще сложнее, если мы даже не знаем, что такое "катастрофа". Так что, если вы спросите меня "Какова ваша p(doom) от AGI?", я скажу "Пожалуйста, просто задайте мне нормальный вопрос".