¿Cómo deberíamos comparar los errores de la IA con los errores humanos en la atención médica? Los doctores cometen errores todo el tiempo, pero no es como si le quitáramos la licencia médica a un doctor si comete algunos errores. La barra para la IA es mucho más alta: tiene que ser casi perfecta y probada en todos los escenarios posibles. Tan pronto como comete algunos errores en los márgenes, nos sentimos incómodos al ponerla en producción. También plantea algunas preguntas sobre si "la concordancia con lo que dijo el doctor" es realmente la métrica a medir. ¿Qué pasa si se compara con un mal doctor? Probablemente no querríamos que obtuvieran las mismas respuestas entonces. Probablemente hay algunas razones para esto. Tenemos un marco de responsabilidad para los doctores que cometen errores en forma de negligencia. Los doctores tienen un código de ética, juntas de revisión y retroalimentación social que los empujan a hacer lo correcto. Aún estamos averiguando cómo lidiar con la responsabilidad si la IA comete un error y qué los motiva a hacer lo correcto. ¿Por qué la mía sigue de acuerdo conmigo? (Aparte del hecho de que tengo razón). Pero si la IA ya es mejor que el cuartil inferior de los doctores que consistentemente cometen errores en casos simples, ¿no deberíamos ya estar sacando esto al mercado? Espera, pero ¿cómo identificamos quién está en el cuartil inferior de los doctores?