Jak bychom měli porovnat chyby umělé inteligence a lidské chyby ve zdravotnictví? Doktoři dělají chyby neustále, ale není to tak, že bychom doktorovi odebrali lékařskou licenci, pokud udělá pár chyb. Laťka umělé inteligence je mnohem vyšší – musí být téměř dokonalá a otestovaná ve všech možných scénářích. Jakmile udělá pár chyb na okrajích, je nám nepříjemné ho dávat do výroby. To také vyvolává některé otázky ohledně toho, zda "shoda s tím, co řekl doktor" je skutečně metrikou, kterou je třeba měřit. Co když je srovnáván se špatným doktorem? Pravděpodobně bychom nechtěli, aby pak dostávali stejné odpovědi. Pravděpodobně je kolem toho několik důvodů. Máme rámec odpovědnosti za to, že se lékaři dopustí chyb ve formě zanedbání péče. Lékaři mají pravidla etického kodexu, revizní komise a sociální zpětnou vazbu, která je tlačí k tomu, aby dělali správné věci. Stále řešíme, jak se vypořádat s odpovědností, pokud AI něco pokazí a co ji motivuje k tomu, aby udělala správnou věc. Proč se mnou ten můj stále souhlasí? (Kromě toho, že mám pravdu). Ale pokud je umělá inteligence již lepší než spodní kvartil dokumentů, kteří neustále dělají jednoduché případy špatně, měli bychom to už dostat ven? Počkat, ale jak zjistíme, kdo je ve spodním kvartilu dokumentů?