Секрет продуктивності Parallax полягає в оптимізації ключового рівня сервера: – Безперервне пакетування: динамічно групує запити для максимального використання обладнання та пропускної здатності. – Paged KV-Cache: блоковий дизайн запобігає фрагментації пам'яті, обробляє тисячі одночасних запитів – Різнорідні працівники: оптимальна продуктивність на графічних процесорах і комп'ютерах Mac. Швидко. Надійний. Повністю розповсюджується.
Gradient
Gradient20 черв. 2025 р.
У порівнянні з Petals (подача в стилі BitTorrent), Parallax під управлінням Qwen2.5-72B на 2× RTX 5090s досяг: – 3,1× нижча наскрізна затримка, 5,3× швидша затримка між токенами – 2,9× швидший час до першого токена, 3,1× вища пропускна здатність вводу/виводу Результати були стабільними та продемонстрували чудову масштабованість у різних конфігураціях вводу, і це лише початок.
66,35K