3 práticas recomendadas para escrever avaliações de IA: 1. Equilibre velocidade e rigor Comece com uma dúzia de casos de teste e itere a partir daí. Não construa 100s quando ainda estiver fazendo grandes alterações imediatas. Identifique e corrija os maiores modos de falha e, em seguida, expanda a cobertura. 2. Obcecado com critérios de avaliação e rótulos manuais Seus critérios de avaliação e conjunto de dados dourados são a base de todo o resto. Não há como evitar fazer esse trabalho manual em planilhas - obcecado em tornar seus rótulos humanos bons. 3. Não escale o juiz LLM prematuramente Procure um alinhamento de ~ 80% entre seu juiz LLM e rotuladores humanos antes de dimensionar. Audite os resultados regularmente - não assuma que está sempre certo. Amanhã, compartilharei um guia para iniciantes sobre avaliações de IA que mostra um exemplo passo a passo que qualquer pessoa pode seguir. 📌 Inscreva-se para recebê-lo em sua caixa de entrada: (PS É assim que imagino como é um juiz de LLM)