Hur ska vi jämföra AI-misstag mot mänskliga misstag inom vården? Läkare gör misstag hela tiden, men det är inte så att vi tar bort en läkares medicinska licens om de gör några misstag. Ribban för AI är mycket högre - den måste vara nästan perfekt och testad i alla möjliga scenarier. Så fort den gör några misstag i kanterna känner vi oss obekväma med att sätta den i produktion. Det väcker också en del frågor kring om "överensstämmelse med vad läkaren sa" verkligen är det mått man ska mäta. Tänk om det jämförs med en dålig läkare? Vi vill nog inte att de ska få samma svar då. Det finns förmodligen några anledningar kring detta. Vi har ett ramverk för ansvar för läkare som gör misstag i form av felbehandling. Läkare har en etisk kod, granskningsnämnder och social feedback som driver dem att göra det rätta. Vi håller fortfarande på att ta reda på hur vi ska hantera ansvar om AI gör något fel och vad som motiverar dem att göra det rätta. Varför fortsätter min att hålla med mig? (Förutom att jag har rätt). Men om AI redan är bättre än den nedre kvartilen av doktorer som konsekvent gör fel i enkla fall, borde vi redan få ut det här? Vänta, men hur identifierar vi vem som finns i den nedre kvartilen av dokument?