З нетерпінням чекаємо випуску DailyBench! DailyBench – це автоматизований 4-кратний щоденний бенчмарк, який оцінює API frontier model на форку HELMLite. Я створив DailyBench, щоб перевірити, чи можемо ми виявити постачальників моделей, які квантують ваги, стискають kv-кеш або змінюють моделі під час пікових навантажень.
25,48K