3 лучших практики для написания оценок ИИ: 1. Сбалансируйте скорость и строгость Начните с дюжины тестовых случаев и итеративно развивайтесь. Не создавайте сотни, когда вы все еще вносите серьезные изменения в подсказки. Определите и исправьте самые большие режимы сбоев, затем расширьте охват. 2. Ориентируйтесь на критерии оценки и ручные метки Ваши критерии оценки и золотой набор данных являются основой всего остального. Невозможно обойтись без этой ручной работы в таблицах - сосредоточьтесь на том, чтобы ваши человеческие метки были качественными. 3. Не масштабируйте судью LLM преждевременно Стремитесь к ~80% согласованности между вашим судьей LLM и человеческими метками перед масштабированием. Регулярно проверяйте результаты - не предполагайте, что он всегда прав. Завтра я поделюсь руководством для начинающих по оценкам ИИ, которое проведет через пошаговый пример, который может следовать любой. 📌 Подпишитесь, чтобы получить это на свой почтовый ящик: (Кстати, вот как я представляю, как выглядит судья LLM)