Construimos ProfBench para elevar el listón de los LLM, literalmente. En @NVIDIA, trabajamos con expertos en el dominio para crear un punto de referencia que va mucho más allá de las trivialidades y las respuestas cortas. ProfBench prueba los LLM en tareas complejas de varios pasos que exigen el tipo de razonamiento, síntesis y claridad que esperaría de un físico con doctorado o consultor de MBA. 🌎 Esto no es solo una caída del conjunto de datos. Es una colaboración global: 38 profesionales de 8 países contribuyeron con más de 7,000 rúbricas escritas por expertos en finanzas, consultoría 💵 📊, doctorado 🧪en química y doctorado 🚀 en física. 🧗Cada indicación y rúbrica de calificación fue hecha a mano, lo que requirió decenas de horas de trabajo dedicado y enfocado. Ahora totalmente compatible con el SDK de NeMo Evaluator, ProfBench permite evaluaciones reproducibles basadas en rúbricas y comparaciones de modelos en paralelo. 🔗 ProfBench en @HuggingFace 🔗 SDK de NeMo Evaluator Estoy muy orgulloso del equipo que hizo que esto sucediera. Sigamos impulsando lo que la IA puede hacer. Trabajo realizado con @jaehunjung_com @GXiming @shizhediao Ellie Evans @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC