"Jeder sagt, dass AI-Bewertungen wichtig sind, also lass uns tatsächlich eine live von Grund auf neu erstellen." Hier ist meine neue Episode mit @_amankhan (Arize), in der wir live AI-Bewertungen für einen Kundenservice-Agenten erstellen, einschließlich: ✅ Erstellung der Bewertungs Kriterien ✅ Kennzeichnung des goldenen Datensatzes ✅ Abstimmung der LLM-Richter mit menschlichen Bewertungen Einige Einblicke von Aman: 1. PMs müssen die manuelle Kennzeichnung selbst durchführen. "Ich habe es nie als nützlich empfunden, menschliche Bewertungen an Auftragnehmer auszulagern. Der PM muss in der Tabelle sein, um gutes Urteilsvermögen zu bewahren." 2. Definiere im Voraus, wie gut/durchschnittlich/schlecht in Kriterien wie Genauigkeit und Ton aussieht. Dies wird dein Bewertungsraster für eine konsistente Bewertung in deinem Team. 3. Stelle sicher, dass deine LLM-Richter mit deinen menschlichen Bewertungen übereinstimmen, bevor du skalierst. Teste die Richter zuerst an ein paar Dutzend Fällen und strebe eine Übereinstimmungsrate von mindestens 80%+ an. 📌 Jetzt ansehen: Auch verfügbar auf: Spotify: Apple: Newsletter: