"Qual é a sua p(doom) com a AGI?" ...é uma pergunta má A conversa sobre "p(doom)" é algo comum de se ouvir em festas de SF e em outros lugares, mas é irritante porque há tanta confusão entre o seguinte: 1. A probabilidade de doom se (a) a AGI for construída e (b) não tivermos nenhuma mudança nos níveis de engenharia de segurança / políticas de segurança / alinhamento em relação ao que temos hoje -- essencialmente o nível de doom com negócios como de costume e técnicas atuais, assumindo que ninguém preste mais atenção do que já presta. 2. A probabilidade de doom se a AGI for construída (mas permitindo a possibilidade de que possamos aumentar dramaticamente a segurança e/ou resolver o alinhamento ou algo assim). 3. A probabilidade de doom ao longo de um determinado período de tempo, incluindo tanto (a) a chance de que a AGI nunca seja construída, a AGI se revela difícil demais de fazer, estamos errados sobre o desenvolvimento da capacidade da IA e (b) a possibilidade de que possamos aumentar dramaticamente a segurança e/ou resolver o alinhamento ou algo assim. As pessoas que confundem esses três significados diferentes tornam bastante difícil ter uma conversa sobre isso. Além disso, a noção de "doom" em si também é bastante confusa. Alguns a entendem como apenas a extinção humana. Alguns dizem que se toda a humanidade estiver muito melhor do que hoje, mas nunca alcançarmos nosso maior potencial galáctico possível, ainda estaremos em "doom" -- e muito entre esses extremos. Se fosse o ano 2100 e houvesse um trilhão de pessoas na Terra, cada uma com a qualidade de vida do "top 1% nos EUA em 2025", isso seria "doom"? Alguns dizem que sim, outros dizem que não. Isso torna ainda mais difícil ter uma conversa sobre isso se nem sabemos o que é "doom". Então, se você me perguntar "Qual é a sua p(doom) com a AGI?" eu vou ter que dizer "Por favor, apenas me faça uma pergunta normal".