Мы создали ProfBench, чтобы поднять планку для LLM - буквально. В @NVIDIA мы работали с экспертами в области, чтобы создать бенчмарк, который выходит далеко за пределы тривиальных вопросов и коротких ответов. ProfBench тестирует LLM на сложных, многоступенчатых задачах, которые требуют такого рода рассуждений, синтеза и ясности, которые вы ожидаете от физика с докторской степенью или консультанта MBA. 🌎 Это не просто набор данных. Это глобальное сотрудничество: 38 профессионалов из 8 стран внесли более 7000 экспертно написанных рубрик в области финансов MBA 💵, консалтинга MBA 📊, химии PhD 🧪 и физики PhD 🚀. 🧗Каждый запрос и рубрика оценки были вручную созданы, что потребовало десятков часов целенаправленной и сосредоточенной работы. Теперь полностью поддерживаемый в NeMo Evaluator SDK, ProfBench позволяет проводить воспроизводимые оценки на основе рубрик и сравнения моделей бок о бок. 🔗 ProfBench на @HuggingFace 🔗 NeMo Evaluator SDK Я так горжусь командой, которая это сделала. Давайте продолжать продвигать то, что может сделать AI. Работа выполнена с @jaehunjung_com @GXiming @shizhediao Ellie Evans @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC