نقدم لكم باريس - أول نموذج نشر لامركزي مدرب بالوزن المفتوح في العالم. أطلقنا عليها اسم باريس على اسم المدينة التي كانت دائما ملجأ لأولئك الذين يخلقون دون إذن. باريس مفتوحة للبحث والاستخدام التجاري.

باريس تفعل شيئا لا ينبغي أن ينجح. إنه مزيج من نماذج الانتشار الأصغر حجما التي تم تدريبها مسبقا من الصفر ، عبر قارات مختلفة في عزلة تامة. عدم وجود التزامن على الإطلاق بين بعضهما البعض أثناء التدريب. يحقق بروتوكول الاتصال الصفري هذا جودة مماثلة لأساليب SOTA الموزعة باستخدام 14× بيانات أقل و 16× حوسبة أقل. كيف؟ اطلع على تقريرنا الفني الكامل وأوزان الطراز أدناه. التقرير الفني الكامل: أوزان النموذج:

هذا ما فعلناه بشكل مختلف. يستخدم التدريب الموزع عادة تقنيات التوازي مثل توازي البيانات ، وتوازي خطوط الأنابيب ، وتوازي النموذج ، وما إلى ذلك. تتطلب جميعها المزامنة بين عقد الحساب. لقد أزلنا هذا المطلب بالكامل مع باريس من خلال مطابقة التدفق اللامركزي. بعد التدريب ، قمنا ببناء DiTRouter خفيف الوزن ، أيضا في عزلة تامة ، تعلم اختيار الخبراء في الاستدلال بناء على الكامنات الصاخبة.

الأرقام. حققت باريس نتائج مماثلة لمناهج SOTA اللامركزية أثناء استخدام: 14× بيانات تدريب أقل (11 ميجا مقابل 158 مليون صورة) 16× حساب أقل (120 يوم لوحدة معالجة الرسومات A40 مقابل ~1176 A100 يوم) تفوز باريس أيضا على خطوط الأساس للتدريب المتجانسة. يصل توجيه Top-2 الخاص بنا على DiT-B / 2 إلى FID-50K عند 22.60 ، وهو تحسن قدره 7.04 نقطة مقارنة بتدريب نموذج واحد (29.64).

النتائج. جاءت هذه الصور من 8 خبراء لم يتحدثوا مع بعضهم البعض أثناء التدريب. نعتقد أنه إذا تمكنا من توسيع نطاق هذا النهج ، فهذه هي الخطوة الحقيقية الأولى نحو الذكاء الخارق مفتوح المصدر. لكن هذا يتطلب حل بعض المشكلات الصعبة حقا. إذا كنت مهتما بمساعدتنا في تحقيق ذلك أثناء القيام بأفضل عمل مفتوح المصدر في حياتك ، تعال للعمل معنا ،