Construimos ProfBench para elevar el estándar de los LLMs - literalmente. En @NVIDIA, trabajamos con expertos en la materia para crear un benchmark que va mucho más allá de trivialidades y respuestas cortas. ProfBench evalúa a los LLMs en tareas complejas y de múltiples pasos que exigen el tipo de razonamiento, síntesis y claridad que esperarías de un físico con doctorado o un consultor de MBA. 🌎 Esto no es solo una entrega de conjunto de datos. Es una colaboración global: 38 profesionales de 8 países contribuyeron con más de 7,000 rúbricas escritas por expertos en finanzas de MBA 💵, consultoría de MBA 📊, química de doctorado 🧪 y física de doctorado 🚀. 🧗Cada prompt y rúbrica de evaluación fue elaborado a mano, requiriendo decenas de horas de trabajo dedicado y enfocado. Ahora, totalmente soportado en el SDK de Evaluador NeMo, ProfBench permite evaluaciones reproducibles basadas en rúbricas y comparaciones de modelos lado a lado. 🔗 ProfBench en @HuggingFace 🔗 SDK de Evaluador NeMo Estoy muy orgulloso del equipo que hizo esto posible. Sigamos empujando lo que la IA puede hacer. Trabajo realizado con @jaehunjung_com @GXiming @shizhediao Ellie Evans @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC