يكمن السر وراء أداء Parallax في التحسينات الرئيسية على مستوى الخادم: - التجميع المستمر: تجميع الطلبات ديناميكيا لزيادة استخدام الأجهزة والإنتاجية إلى أقصى حد. - مخبأ KV-Cache: يمنع التصميم المستند إلى الكتلة تجزئة الذاكرة ، ويتعامل مع آلاف الطلبات المتزامنة - العمال غير المتجانسين: الأداء الأمثل عبر وحدات معالجة الرسومات وأجهزة Mac. صوم. مصدق. موزعة بالكامل.
Gradient
Gradient‏20 يونيو 2025
مقارنة ب Petals (خدمة على غرار BitTorrent) ، حقق Parallax الذي يعمل بتشغيل Qwen2.5-72B على 2× RTX 5090s: - 3.1× زمن انتقال أقل من طرف إلى طرف ، 5.3× زمن انتقال أسرع بين الرموز - 2.9× أسرع وقت للرمز المميز الأول ، 3.1× إنتاجية إدخال / إخراج أعلى كانت النتائج متسقة وأظهرت قابلية توسع كبيرة عبر تكوينات الإدخال المختلفة ، وهذه مجرد البداية.
‏‎66.33‏K