Como devemos comparar os erros de IA com os erros humanos na área da saúde? Os médicos cometem erros o tempo todo, mas não é como se removêssemos a licença médica de um médico se eles cometerem alguns erros. O nível da IA é muito mais alto - ela precisa ser quase perfeita e testada em todos os cenários possíveis. Assim que ele comete alguns erros nas bordas, nos sentimos desconfortáveis em colocá-lo em produção. Também levanta algumas questões sobre se a "concordância com o que o médico disse" é realmente a métrica a ser medida. E se estiver sendo comparado a um mau médico? Provavelmente não gostaríamos que eles obtivessem as mesmas respostas então. Provavelmente existem algumas razões em torno disso. Temos uma estrutura de responsabilidade para médicos que cometem erros na forma de negligência. Os médicos têm um código de regras de ética, conselhos de revisão e feedback social que os levam a fazer a coisa certa. Ainda estamos descobrindo como lidar com a responsabilidade se a IA errar e o que os motiva a fazer a coisa certa. Por que o meu continua concordando comigo? (Além do fato de que eu estou certo). Mas se a IA já é melhor do que o quartil inferior de médicos que estão consistentemente errando casos simples, já deveríamos estar divulgando isso? Espere, mas como identificamos quem está no quartil inferior dos documentos?