Vyhodnoťte konverzační aplikace LLM, jako je ChatGPT, ve 3 krocích (open-source). Na rozdíl od úkolů s jedním otočením se konverzace odvíjejí ve více zprávách. To znamená, že chování LLM musí být konzistentní, vyhovující a kontextově uvědomělé napříč tahy, nejen přesné v jednorázovém výstupu. V DeepEval to můžete udělat pomocí pouhých 3 kroků: 1) Definujte svůj víceotáčkový testovací případ jako ConversationalTestCase. 2) Definujte metriku pomocí ConversationalGEval v jednoduché angličtině. 3) Spusťte vyhodnocení. Hotový! To poskytne podrobný rozpis toho, které konverzace proběhly úspěšně a které neúspěšně, spolu s rozdělením skóre. Navíc získáte také plné uživatelské rozhraní pro kontrolu jednotlivých zatáček. Na tom jsou dvě dobré věci: - Celá pipeline je extrémně jednoduchá na nastavení a vyžaduje jen pár řádků kódu. - DeepEval je 100% open-source s ~10 tisíci hvězdičkami a můžete jej snadno hostovat, takže vaše data zůstanou tam, kde chcete. Repo najdete v komentářích!

Pokud vám to připadalo užitečné, sdílejte to znovu se svou sítí. Najdi mě → @_avichawla Každý den sdílím návody a postřehy o DS, ML, LLM a RAG.