S nadšením vydáváme DailyBench! DailyBench je automatizovaný benchmark 4x denně, který vyhodnocuje rozhraní API hraničních modelů na forku HELMLite. Vytvořil jsem DailyBench, abych zjistil, zda dokážeme detekovat poskytovatele modelů, kteří kvantizují váhy, komprimují kv-cache nebo zaměňují modely během špičkového zatížení.
25,47K