Vi byggde ProfBench för att höja ribban för LLM:er - bokstavligen. På @NVIDIA arbetade vi med domänexperter för att skapa ett riktmärke som går långt utöver trivialiteter och korta svar. ProfBench testar LLM:er på komplexa uppgifter i flera steg som kräver den typ av resonemang, syntes och tydlighet som du kan förvänta dig av en doktorerad fysiker eller MBA-konsult. 🌎 Det här är inte bara en minskning av datauppsättningen. Det är ett globalt samarbete: 38 yrkesverksamma i 8 länder bidrog med över 7 000 expertskrivna rubriker inom finans MBA 💵, konsult MBA 📊, kemi PhD 🧪och fysik PhD 🚀 . 🧗Varje uppmaning och betygsrubrik var handgjord, vilket krävde tiotals timmar av hängivet och fokuserat arbete. ProfBench har nu fullt stöd i NeMo Evaluator SDK och möjliggör reproducerbara, rubrikbaserade utvärderingar och modelljämförelser sida vid sida. 🔗 ProfBench på @HuggingFace 🔗 NeMo Utvärderare SDK Jag är så stolt över teamet som gjorde detta möjligt. Låt oss fortsätta att trycka på vad AI kan göra. Arbete utfört med @jaehunjung_com @GXiming @shizhediao Ellie Evans @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC