3 melhores práticas para escrever avaliações de IA: 1. Equilibrar velocidade e rigor Comece com uma dúzia de casos de teste e itere a partir daí. Não construa centenas quando ainda está fazendo mudanças significativas nos prompts. Identifique e corrija os maiores modos de falha, depois amplie a cobertura. 2. Obsessão pelos critérios de avaliação e rótulos manuais Seus critérios de avaliação e conjunto de dados de referência são a base de tudo o que vem a seguir. Não há como escapar de fazer esse trabalho manual em planilhas - obceque-se em tornar seus rótulos humanos bons. 3. Não escale o juiz LLM prematuramente Busque ~80% de alinhamento entre seu juiz LLM e os rotuladores humanos antes de escalar. Audite os resultados regularmente - não assuma que está sempre certo. Amanhã, vou compartilhar um guia para iniciantes sobre avaliações de IA que passa por um exemplo passo a passo que qualquer um pode seguir. 📌 Inscreva-se para recebê-lo na sua caixa de entrada: (P.S. É assim que imagino como é um juiz LLM)