¿Cómo debemos comparar los errores de IA con los errores humanos en la atención médica? Los médicos cometen errores todo el tiempo, pero no es como si le quitáramos la licencia médica a un médico si comete algunos errores. El listón para la IA es mucho más alto: tiene que ser casi perfecto y probado en todos los escenarios posibles. Tan pronto como comete algunos errores en los bordes, nos sentimos incómodos al ponerlo en producción. También plantea algunas preguntas sobre si la "concordancia con lo que dijo el médico" es realmente la métrica a medir. ¿Qué pasa si se compara con un mal médico? Probablemente no querríamos que obtuvieran las mismas respuestas entonces. Probablemente haya algunas razones en torno a esto. Tenemos un marco de responsabilidad para los médicos que cometen errores en forma de negligencia. Los médicos tienen una regla de código de ética, juntas de revisión y comentarios sociales que los empujan a hacer lo correcto. Todavía estamos descubriendo cómo lidiar con la responsabilidad si la IA se equivoca en algo y qué los motiva a hacer lo correcto. ¿Por qué el mío sigue estando de acuerdo conmigo? (Aparte del hecho de que tengo razón). Pero si la IA ya es mejor que el cuartil inferior de los médicos que constantemente se equivocan en casos simples, ¿ya deberíamos estar sacando esto a la luz? Espera, pero ¿cómo identificamos quién está en el cuartil inferior de los documentos?