3 bewährte Praktiken für das Schreiben von KI-Bewertungen: 1. Balance zwischen Geschwindigkeit und Gründlichkeit Beginnen Sie mit einem Dutzend Testfällen und iterieren Sie von dort aus. Erstellen Sie keine Hunderte, während Sie noch wesentliche Änderungen an den Eingabeaufforderungen vornehmen. Identifizieren und beheben Sie die größten Fehlerquellen, und erweitern Sie dann die Abdeckung. 2. Besessenheit über Bewertungs Kriterien und manuelle Labels Ihre Bewertungs Kriterien und das goldene Dataset sind die Grundlage für alles andere. Es gibt kein Vorbeikommen an dieser manuellen Arbeit in Tabellenkalkulationen - seien Sie besessen davon, Ihre menschlichen Labels gut zu machen. 3. Skalieren Sie den LLM-Richter nicht vorzeitig Zielen Sie auf ~80% Übereinstimmung zwischen Ihrem LLM-Richter und menschlichen Labelern, bevor Sie skalieren. Überprüfen Sie die Ergebnisse regelmäßig - gehen Sie nicht davon aus, dass es immer richtig ist. Morgen teile ich einen Leitfaden für Anfänger zu KI-Bewertungen, der durch ein schrittweises Beispiel führt, dem jeder folgen kann. 📌 Melden Sie sich an, um es in Ihrem Posteingang zu erhalten: (P.S. So stelle ich mir vor, wie ein LLM-Richter aussieht)