Jak powinniśmy porównywać błędy AI z błędami ludzi w opiece zdrowotnej? Lekarze popełniają błędy cały czas, ale nie jest tak, że odbieramy lekarzowi licencję, jeśli popełni kilka błędów. Wymagania wobec AI są znacznie wyższe - musi być niemal doskonałe i przetestowane w każdym możliwym scenariuszu. Gdy tylko popełni kilka błędów na marginesie, czujemy się niekomfortowo, wprowadzając je do produkcji. Rodzi to również pytania, czy "zgodność z tym, co powiedział lekarz" jest naprawdę miarą, którą należy stosować. Co jeśli jest porównywane z złym lekarzem? Prawdopodobnie nie chcielibyśmy, aby uzyskiwali te same odpowiedzi. Jest prawdopodobnie kilka powodów tego stanu rzeczy. Mamy ramy odpowiedzialności dla lekarzy popełniających błędy w postaci błędów medycznych. Lekarze mają zasady etyki, komisje rewizyjne i społeczną informację zwrotną, które skłaniają ich do działania w słuszny sposób. Wciąż ustalamy, jak radzić sobie z odpowiedzialnością, jeśli AI popełni błąd i co motywuje je do działania w słuszny sposób. Dlaczego moje AI ciągle się ze mną zgadza? (Poza tym, że mam rację). Ale jeśli AI jest już lepsze niż dolny kwartyl lekarzy, którzy konsekwentnie popełniają błędy w prostych przypadkach, to powinniśmy już to wprowadzać? Ale jak zidentyfikować, kto jest w dolnym kwartylu lekarzy?