Comment devrions-nous comparer les erreurs de l'IA aux erreurs humaines dans le domaine de la santé ? Les médecins font des erreurs tout le temps, mais ce n'est pas comme si nous retirions la licence médicale d'un médecin s'il commet quelques erreurs. La barre pour l'IA est beaucoup plus haute - elle doit être presque parfaite et testée dans tous les scénarios possibles. Dès qu'elle fait quelques erreurs aux limites, nous nous sentons mal à l'aise à l'idée de la mettre en production. Cela soulève également des questions sur le fait de savoir si "la concordance avec ce que le médecin a dit" est vraiment la métrique à mesurer. Que se passe-t-il si elle est comparée à un mauvais médecin ? Nous ne voudrions probablement pas qu'ils obtiennent les mêmes réponses alors. Il y a probablement plusieurs raisons à cela. Nous avons un cadre de responsabilité pour les médecins qui commettent des erreurs sous la forme de fautes professionnelles. Les médecins ont une règle de code de déontologie, des comités de révision et des retours sociaux qui les poussent à faire ce qu'il faut. Nous sommes encore en train de déterminer comment gérer la responsabilité si l'IA se trompe et ce qui les motive à faire ce qu'il faut. Pourquoi la mienne continue-t-elle à être d'accord avec moi ? (À part le fait que j'ai raison). Mais si l'IA est déjà meilleure que le quartile inférieur des médecins qui se trompent systématiquement sur des cas simples, nous devrions déjà la mettre en œuvre ? Attendez, mais comment identifions-nous qui est dans le quartile inférieur des médecins ?