Hvordan skal vi sammenligne AI-feil med menneskelige feil i helsevesenet? Leger gjør feil hele tiden, men det er ikke slik at vi fjerner legelisensen til en lege hvis de gjør noen feil. Listen for AI er mye høyere – den må være nesten perfekt og testet i alle mulige scenarier. Så snart den gjør noen feil i kantene, føler vi oss ukomfortable med å sette den i produksjon. Det reiser også noen spørsmål rundt om "samsvar med det legen sa" virkelig er beregningen å måle. Hva om det blir sammenlignet med en dårlig lege? Vi vil sannsynligvis ikke at de skal få de samme svarene da. Det er sannsynligvis noen grunner rundt dette. Vi har et ansvarsrammeverk for leger som gjør feil i form av feilbehandling. Leger har en etisk regel, vurderingsstyrer og sosiale tilbakemeldinger som presser dem til å gjøre det rette. Vi finner fortsatt ut hvordan vi skal håndtere ansvar hvis AI gjør noe feil og hva som motiverer dem til å gjøre det rette. Hvorfor er mine stadig enige med meg? (Bortsett fra det faktum at jeg har rett). Men hvis AI allerede er bedre enn den nederste kvartilen av dokumenter som konsekvent tar feil av enkle saker, burde vi allerede få dette ut? Vent, men hvordan identifiserer vi hvem som er i den nederste kvartilen av dokumenter?