Hoe moeten we AI-fouten vergelijken met menselijke fouten in de gezondheidszorg? Artsen maken de hele tijd fouten, maar het is niet zo dat we de medische licentie van een arts intrekken als ze een paar fouten maken. De lat voor AI ligt veel hoger - het moet bijna perfect zijn en getest in elke mogelijke scenario. Zodra het een paar fouten maakt aan de randen, voelen we ons ongemakkelijk om het in productie te nemen. Het roept ook vragen op over de vraag of "overeenstemming met wat de arts zei" echt de maatstaf is om te meten. Wat als het wordt vergeleken met een slechte arts? We zouden waarschijnlijk niet willen dat ze dezelfde antwoorden krijgen. Er zijn waarschijnlijk een paar redenen hiervoor. We hebben een aansprakelijkheidskader voor artsen die fouten maken in de vorm van medische nalatigheid. Artsen hebben een ethische gedragscode, beoordelingscommissies en sociale feedback die hen aanmoedigen om het juiste te doen. We zijn nog steeds aan het uitzoeken hoe we om moeten gaan met aansprakelijkheid als AI iets fout doet en wat hen motiveert om het juiste te doen. Waarom blijft de mijne met me eens? (Behalve het feit dat ik gelijk heb). Maar als AI al beter is dan de onderste kwartiel van artsen die consequent eenvoudige gevallen verkeerd krijgen, zouden we dit dan niet al moeten uitrollen? Wacht, maar hoe identificeren we wie in het onderste kwartiel van artsen zit?