Đánh giá các ứng dụng LLM hội thoại như ChatGPT trong 3 bước (mã nguồn mở). Khác với các tác vụ đơn lẻ, các cuộc hội thoại diễn ra qua nhiều tin nhắn. Điều này có nghĩa là hành vi của LLM phải nhất quán, tuân thủ và nhận thức về ngữ cảnh qua các lượt, không chỉ chính xác trong đầu ra một lần. Trong DeepEval, bạn có thể làm điều đó chỉ với 3 bước: 1) Định nghĩa trường hợp kiểm tra đa lượt của bạn dưới dạng ConversationalTestCase. 2) Định nghĩa một chỉ số với ConversationalGEval bằng tiếng Anh đơn giản. 3) Chạy đánh giá. Xong! Điều này sẽ cung cấp một phân tích chi tiết về những cuộc hội thoại nào đã vượt qua và những cuộc nào đã thất bại, cùng với phân phối điểm số. Hơn nữa, bạn cũng nhận được một giao diện người dùng đầy đủ để kiểm tra từng lượt. Có hai điều tốt về điều này: - Toàn bộ quy trình rất đơn giản để thiết lập và chỉ cần một vài dòng mã. - DeepEval hoàn toàn mã nguồn mở với ~10k sao, và bạn có thể dễ dàng tự lưu trữ nó để dữ liệu của bạn ở nơi bạn muốn. Tìm repo trong phần bình luận!

Nếu bạn thấy nó hữu ích, hãy chia sẻ lại với mạng lưới của bạn. Tìm tôi → @_avichawla Mỗi ngày, tôi chia sẻ các hướng dẫn và thông tin về DS, ML, LLMs và RAGs.