"Quelle est votre p(doom) de l'AGI ?" ...c'est une mauvaise question Le discours sur "p(doom)" est courant lors des soirées à SF et ailleurs, mais c'est agaçant car il y a beaucoup de confusion entre les éléments suivants : 1. La probabilité de la catastrophe si (a) l'AGI est construite et (b) nous n'avons aucun changement dans les niveaux d'ingénierie de sécurité / politiques de sécurité / alignement par rapport à ce que nous avons aujourd'hui -- essentiellement le niveau de catastrophe avec les affaires comme d'habitude et les techniques actuelles en supposant que personne ne prête plus attention qu'il ne le fait déjà. 2. La probabilité de la catastrophe si l'AGI est construite (mais en permettant la possibilité que nous pourrions dramatiquement augmenter la sécurité et/ou résoudre l'alignement ou autre chose). 3. La probabilité de la catastrophe sur une période donnée, incluant à la fois (a) la chance que l'AGI ne soit jamais construite, que l'AGI s'avère trop difficile à réaliser, que nous nous trompons sur le développement des capacités de l'IA et (b) la possibilité que nous pourrions dramatiquement augmenter la sécurité et/ou résoudre l'alignement ou autre chose. Les gens qui équivalent ces trois significations différentes rendent la conversation à ce sujet assez difficile. De plus, la notion de "doom" elle-même est également assez confuse. Certains l'interprètent simplement comme l'extinction humaine. Certains disent que si toute l'humanité est bien mieux qu'aujourd'hui mais que nous n'atteignons jamais notre plus grand potentiel galactique possible, alors nous sommes toujours dans "doom" -- et beaucoup d'autres nuances entre les deux. Si nous étions en l'an 2100 et qu'il y avait un trillion de personnes sur Terre, chacune ayant une qualité de vie de "top 1% aux États-Unis en 2025", serait-ce "doom" ? Certains disent oui, d'autres disent non. Cela rend encore plus difficile d'avoir une conversation à ce sujet si nous ne savons même pas ce qu'est "doom". Donc, si vous me demandez "Quelle est votre p(doom) de l'AGI ?", je vais devoir dire "Veuillez juste me poser une question normale".