私たちは、文字通りLLMの水準を引き上げるためにProfBenchを構築しました。 @NVIDIAでは、ドメインの専門家と協力して、トリビアや短い答えをはるかに超えたベンチマークを作成しました。 ProfBench は、博士号を取得した物理学者や MBA コンサルタントに期待されるような推論、総合、明快さを必要とする、複雑で多段階のタスクで LLM をテストします。 🌎 これは単なるデータセットのドロップではありません。これはグローバルなコラボレーションです:38か国の8人の専門家が、ファイナンスMBA 💵、コンサルティングMBA 📊、化学博士🧪号、物理学博士🚀号にわたって7,000を超える専門家が書いたルーブリックに貢献しました。 🧗すべてのプロンプトと採点ルーブリックは手作業で作成されており、数十時間の献身的で集中的な作業が必要でした。 NeMo Evaluator SDKで完全にサポートされているProfBenchは、再現性のあるルーブリックベースの評価と並べてモデル比較を可能にします。 🔗 ProfBench on @HuggingFace 🔗 NeMo エバリュエーター SDK これを実現させたチームをとても誇りに思っています。AIでできることを推し進め続けましょう。 @jaehunjung_com @GXiming @shizhediaoエリー・エヴァンスと行われた仕事 @jiaqizengggggg @PavloMolchanov @YejinChoinka @jankautz @doyend #ProfBench #LLM #AIevaluation #NeMo #NVIDIA #OpenSourceAI #AIresearch #AgenticAI #GenerativeAI #BuiltByExperts #GTCDC