Muitas pessoas pensam que a tomada de controle pela IA levaria muito provavelmente à extinção humana. Eu acho que isso está errado. Imagine uma escala de "quanto a IA se importa com os humanos" que varia de 0% a 100%. 100% --> sem tomada de controle pela IA 0% --> tomada de controle pela IA e extinção humana Note que há uma GRANDE parte dessa escala onde a IA assume o controle, mas não mata humanos: 0,01% a 50% --> tomada de controle pela IA, mas SEM extinção humana Eu acho que essa parte intermediária da faixa deve receber uma grande massa de probabilidade. Por que 0,01% para evitar a extinção? Porque é muito barato para uma superinteligência manter os humanos vivos e nos proporcionar vidas incríveis. Existem duas razões pelas quais a IA pode se importar com os humanos >0,01%: 1. A IA pode se importar intrinsecamente, porque o alinhamento funcionou um pouco. - Nós nos importamos um pouco com vacas e plantas, mesmo que elas não tenham controle sobre como evoluímos - Vamos adicionar muitos dados de treinamento para tentar fazer com que as IAs se importem conosco; alguns deles podem ficar, mesmo que o alinhamento falhe amplamente 2. A IA pode se importar instrumentalmente, porque espera que outros agentes a recompensem por manter os humanos vivos (via comércio acausal, ou se a IA estiver em uma simulação). - por exemplo, a IA faz comércio acausal com um ramo de Everett próximo onde os humanos resolveram o alinhamento - por exemplo, a IA pensa que pode estar em uma simulação executada por humanos @RyanPGreenblatt tem um ótimo post discutindo isso (link abaixo). Estou um pouco mais otimista do que ele.