Como devemos comparar os erros da IA com os erros humanos na saúde? Os médicos cometem erros o tempo todo, mas não é como se retirássemos a licença médica de um médico se ele cometer alguns erros. A exigência para a IA é muito maior - ela tem que ser quase perfeita e testada em todos os cenários possíveis. Assim que ela comete alguns erros nas bordas, sentimos desconforto em colocá-la em produção. Isso também levanta algumas questões sobre se "a concordância com o que o médico disse" é realmente a métrica a ser medida. E se estiver sendo comparada a um médico ruim? Provavelmente não quereríamos que eles obtivessem as mesmas respostas então. Provavelmente há algumas razões para isso. Temos um sistema de responsabilidade para médicos que cometem erros na forma de negligência. Os médicos têm um código de ética, comitês de revisão e feedback social que os empurram a fazer a coisa certa. Ainda estamos descobrindo como lidar com a responsabilidade se a IA errar e o que os motiva a fazer a coisa certa. Por que a minha continua concordando comigo? (Além do fato de que estou certo). Mas se a IA já é melhor do que o quartil inferior de médicos que estão consistentemente errando em casos simples, não deveríamos já estar colocando isso em prática? Espera, mas como identificamos quem está no quartil inferior de médicos?