أقصر تفسير ل GPT-5: هذا هو بالضبط ما تنبأت به قوانين التحجيم! النموذج أفضل ، والعوائد تتضاءل ، وللأسف فإن تحسينات الذكاء العام المطلقة ستصبح أصغر فقط الخبر السار هو أنه لا يزال هناك الكثير مما يجب القيام به. لا تزال الشخصية والمنطق والذاكرة والإبداع مشاكل مفتوحة

الوقت المناسب لتذكير الجميع بأن الدرجة العالية في SWEbench تشير حقا إلى أن بيانات التدريب تحتوي على نسبة كبيرة بما فيه الكفاية من Django

الجزء الأكثر إثارة للإعجاب في GPT-5 هو القفزة في السياق الطويل كيف تفعل هذا حتى؟ تنتج بعض البيانات التركيبية الغريبة بعيدة المدى؟ مسح الكثير من الكتب؟

يوفر عالم رأس المال الاستثماري الكثير من القيمة ولكن في بعض الأحيان يبدو الأمر وكأنهم أشعلوا النار في الأموال. جمعت العديد من الشركات الناشئة التي أعرفها ~ 100 مليون منذ ثلاث سنوات لصنع الذكاء الاصطناعي ، وبناء البرامج التي لم يستخدمها أحد من قبل ، والآن تعمل جميعها في مكان آخر على أشياء غير ذات صلة. أين ذهبت كل هذه الأموال؟

من الغريب في عصر وسائل التواصل الاجتماعي أن تشعر أن الجميع يعملون على مراجعات NeurIPS ودحضها ولكن لا أحد يتحدث عنها علنا. لقد ساهمت في ثلاثة دحض. كان أحد الثلاثة محبطا للغاية. من يعمل أيضا على الدحض؟ كيف تسير الأمور بالنسبة لك؟

يريد Sam Altman بناء نموذج تم تصنيفه 3200 على CodeForces ولكن ليس لديه أي فكرة عن هوية Sam Altman وأعتقد أن هذا جميل

لقد أمضيت الساعات القليلة الماضية في التحدث إلى GPT-OSS ويمكنني القول بأمان إنه لا يشبه أي طراز اختبرته في ثانية واحدة ، يتم ترميزها بالنسبة لي على المستوى المهني ، وفي الثانية الأخرى تختلق الحقائق الأساسية والتشبث بها بغض النظر عما أقوله شيء غريب جدا يحدث

"دورة الفكر" الرئيسية التي تمارس خلال الدكتوراه: - تحديد منطقة مساحة المشكلة التي تفتقر إلى التماسك - خصص وقتا للتفكير في الأمر فعليا - اخرج بتقدم فكري ملموس "، وهو شيء لم تدركه من قبل تحسين هذه العملية وتصبح قويا

سيحدث اتصال النموذج ببطء، ثم دفعة واحدة: المستوى 0: نقوم بتصميم بروتوكول قائم على النص للنماذج والبرامج للتواصل (اقرأ: MCP) المستوى 1: ينمو الاتصال النموذجي المستند إلى النص ليتجاوز الاتصال البشري في حجم تدفق البتات للإنترنت في جميع أنحاء العالم المستوى 2: النماذج تدريجياتحول إلى Unicode neuralese ، وهو نوع من الهجين غير المفهوم باللغة الإنجليزية والصينية والكمبيوتر (سيزداد انتشارا مع زيادة حجم RL متعدد العوامل) المستوى 3: تدرك النماذج أنه من الأفضل والتعبير التواصل في الفضاء الكامن والبدء في تبادل المتجهات بدلا من الرموز (بشكل أساسي Game Over بالنسبة لنا)

RETRO (DeepMind ، 2021) هي فكرة جميلة ، وهي فكرة في حاجة ماسة إلى إعادة النظر فيها يتمثل الابتكار المركزي ل Retro في أن يكون لديك نموذج صغير يحدد الرمز المميز الذي يجب التنبؤ به بعد ذلك ، ولكن الاستعانة بمصادر خارجية لجميع المعرفة إلى مخزن بيانات كبير غير متصل بالإنترنت هذا له فائدة إضافية تتمثل في السماح لك بإدراج الحقائق وإزالتها بطريقة معيارية عن طريق تعديل مخزن البيانات ، دون إعادة تدريب النموذج يناسب النموذج المثالي لنموذج صغير (جوهر كارباثي المعرفي يادا يادا) بشكل جيد حقا. يمكنك وضع المزيد من الأدوات أيضا ، بدءا من مخزن بيانات اللغة الذي يعد الأداة الأكثر أهمية يستحق RETRO مزيدا من التقدير. خاصة الآن بعد أن أصبحت النماذج الصغيرة أفضل بكثير