لقد قمنا ببناء ProfBench لرفع مستوى ماجستير القانون - حرفيا. في @NVIDIA ، عملنا مع خبراء المجال لإنشاء معيار يتجاوز بكثير التوافه والإجابات القصيرة. يختبر ProfBench ماجستير العلوم في مهام معقدة ومتعددة الخطوات تتطلب نوع التفكير والتوليف والوضوح الذي تتوقعه من عالم فيزياء دكتوراه أو مستشار ماجستير في إدارة الأعمال. 🌎 هذا ليس مجرد إسقاط في مجموعة البيانات. إنه تعاون عالمي: ساهم 38 متخصصا في 8 دول بأكثر من 7,000 نموذج مكتوب من قبل الخبراء عبر ماجستير إدارة الأعمال 💵 المالية ، وماجستير إدارة الأعمال 📊 الاستشاري ، ودكتوراه 🧪الكيمياء ودكتوراه 🚀 الفيزياء. 🧗تم تصميم كل نموذج توجيه وتصنيف يدويا ، مما يتطلب عشرات الساعات من العمل المتفاني والمركز. الآن مدعوم بالكامل في NeMo Evaluator SDK ، يتيح ProfBench التقييمات القابلة للتكرار والقائمة على التقييم ومقارنات النماذج جنبا إلى جنب. 🔗 ProfBench على @HuggingFace 🔗 NeMo Evaluator SDK أنا فخور جدا بالفريق الذي حقق ذلك. دعونا نستمر في دفع ما يمكن أن يفعله الذكاء الاصطناعي. العمل المنجز مع @jaehunjung_com @GXiming @shizhediao إيلي إيفانز @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC