"Mọi người đều nói rằng việc đánh giá AI là quan trọng, vì vậy hãy cùng xây dựng một cái từ đầu đến cuối ngay bây giờ." Đây là tập mới của tôi với @_amankhan (Arize) nơi chúng tôi xây dựng các đánh giá AI cho một đại lý hỗ trợ khách hàng trực tiếp, bao gồm: ✅ Tạo tiêu chí đánh giá ✅ Gán nhãn cho bộ dữ liệu vàng ✅ Định hướng các thẩm phán LLM với điểm số của con người Một số thông tin từ Aman: 1. Các PM phải tự thực hiện việc gán nhãn thủ công. "Tôi chưa bao giờ thấy việc thuê ngoài đánh giá của con người cho các nhà thầu là hữu ích. PM phải có mặt trong bảng tính để duy trì sự phán xét tốt." 2. Định nghĩa rõ ràng những gì là tốt/trung bình/xấu trên các tiêu chí như độ chính xác và giọng điệu ngay từ đầu. Điều này trở thành bảng tiêu chí của bạn để đánh giá nhất quán trong đội ngũ. 3. Đảm bảo rằng các thẩm phán LLM của bạn phù hợp với điểm số của con người trước khi bạn mở rộng. Hãy kiểm tra các thẩm phán trên một vài chục trường hợp trước và nhắm đến tỷ lệ khớp ít nhất 80%. 📌 Xem ngay: Cũng có sẵn trên: Spotify: Apple: Bản tin: