من دواعي سروري أن آتي إلى Dwarkesh الأسبوع الماضي ، اعتقدت أن الأسئلة والمحادثات كانت جيدة حقا. أعدت مشاهدة الكبسولة الآن أيضا. بادئ ذي بدء ، نعم أعلم ، وأنا آسف لأنني أتحدث بسرعة كبيرة :). إنه على حسابي لأنه في بعض الأحيان ينفذ موضوع التحدث الخاص بي خيط تفكيري ، لذلك أعتقد أنني أخطأت في بعض التفسيرات بسبب ذلك ، وأحيانا كنت متوترة أيضا لأنني أذهب كثيرا إلى ظل أو عميق جدا في شيء زائف نسبيا. على أي حال ، بعض الملاحظات / المؤشرات: الجداول الزمنية ل AGI. يبدو أن تعليقاتي على الجداول الزمنية ل AGI هي الجزء الأكثر شيوعا في الاستجابة المبكرة. هذا هو "عقد الوكلاء" هو إشارة إلى هذه التغريدة السابقة ، في الأساس ، فإن الجداول الزمنية الذكاء الاصطناعي الخاصة بي هي حوالي 5-10 أضعاف متشائمة وما ستجده في حفلة منزل SF الذكاء الاصطناعي في منطقتك أو على مخططك الزمني على تويتر ، ولكن لا يزال متفائلا تماما مع المد المتزايد من منكري الذكاء الاصطناعي والمشككين. الصراع الواضح ليس كذلك: IMO نحن في وقت واحد 1) شهدنا قدرا هائلا من التقدم في السنوات الأخيرة مع LLMs بينما 2) لا يزال هناك الكثير من العمل المتبقي (العمل الشاق ، وأعمال التكامل ، وأجهزة الاستشعار والمشغلات للعالم المادي ، والعمل المجتمعي ، وأعمال السلامة والأمن (الهروب من الحماية ، والتسمم ، وما إلى ذلك)) وأيضا البحث الذي يجب القيام به قبل أن يكون لدينا كيان تفضل توظيفه على شخص لوظيفة تعسفية في عالم. أعتقد أنه بشكل عام ، يجب أن تكون 10 سنوات جدولا زمنيا صعوديا للغاية ل AGI ، إنه فقط على النقيض من الضجيج الحالي الذي لا يشعر بهذه الطريقة. مقابل الأشباح. كتابتي السابقة على بودكاست ساتون. أشك في وجود خوارزمية واحدة بسيطة يمكنك تركها في العالم وتتعلم كل شيء من البداية. إذا قام شخص ما ببناء مثل هذا الشيء ، فسأكون مخطئا وسيكون هذا هو الاختراق الأكثر روعة في الذكاء الاصطناعي. في رأيي ، ليست مثالا على ذلك على الإطلاق - فهي معبأة مسبقا بالكثير من الذكاء عن طريق التطور والتعلم الذي تقوم به ضئيل للغاية بشكل عام (على سبيل المثال: الحمار الوحشي عند الولادة). بوضع قبعاتنا الهندسية ، لن نعيد التطور. ولكن مع LLMs ، عثرنا في نهج بديل ل "التعبئة المسبقة" لطن من الذكاء في شبكة عصبية - ليس عن طريق التطور ، ولكن من خلال التنبؤ بالرمز المميز التالي عبر الإنترنت. يؤدي هذا النهج إلى نوع مختلف من الكيانات في مجال الاستخبارات. متميز عن ، مثل الأشباح أو الأرواح. لكن يمكننا (ويجب) أن نجعلها حيوانية أكثر بمرور الوقت ، وفي بعض النواحي ، هذا ما يدور حوله الكثير من العمل الحدودي. على RL. لقد انتقدت RL عدة مرات بالفعل ، على سبيل المثال. . أولا ، أنت "تمتص الإشراف من خلال ماصة" ، لذلك أعتقد أن الإشارة / التخبط سيء للغاية. RL أيضا صاخبة للغاية لأن الإكمال قد يحتوي على الكثير من الأخطاء التي قد تشجع (إذا تعثرت في الإجابة الصحيحة) ، وعلى العكس من ذلك ، فإن الرموز المميزة الرائعة التي قد يتم تثبيطها (إذا حدث خطأ لاحقا). الإشراف على العملية وقضاة ماجستير القانون لديهم مشكلات أيضا. أعتقد أننا سنرى نماذج تعليمية بديلة. أنا "تفاعل وكيل" طويل ولكن "التعلم المعزز" القصير الذي رأيت عددا من الأوراق المنبثقة مؤخرا والتي تنبح الشجرة الصحيحة على غرار ما أسميته "التعلم الفوري للنظام" ، لكنني أعتقد أن هناك أيضا فجوة بين الأفكار حول arxiv والتنفيذ الفعلي على نطاق واسع في مختبر LLM الحدودي الذي يعمل بطريقة عامة. أنا متفائل تماما بشكل عام بأننا سنرى تقدما جيدا في هذا البعد من العمل المتبقي قريبا جدا ، وعلى سبيل المثال أود أن أقول إن ذاكرة ChatGPT وما إلى ذلك هي أمثلة أولية منتشرة لنماذج التعلم الجديدة. النواة المعرفية. رسالتي السابقة عن "النواة المعرفية": ، فكرة تجريد LLMs ، وجعل من الصعب عليهم الحفظ ، أو تجريد ذاكرتهم بنشاط ، لجعلها أفضل في التعميم. وإلا فإنهم يعتمدون بشدة على ما حفظوه. لا يستطيع البشر الحفظ بهذه السهولة ، والتي تبدو الآن وكأنها ميزة أكثر من كونها خطأ على النقيض من ذلك. ربما يكون عدم القدرة على الحفظ نوعا من التنظيم. أيضا رسالتي منذ فترة حول كيف أن الاتجاه في حجم الطراز "إلى الوراء" ولماذا "يجب أن تكبر النماذج أولا قبل أن تصبح أصغر" السفر عبر الزمن إلى يان ليكون 1989. هذا هو المنشور الذي قمت بعمل متسرع / سيء للغاية في وصفه على الكبسولة:. في الأساس - إلى أي مدى يمكنك تحسين نتائج Yann LeCun بمعرفة 33 عاما من التقدم الخوارزمي؟ ما مدى تقييد النتائج من قبل كل من الخوارزميات والبيانات والحوسبة؟ دراسة حالة هناك. نانوتشات. تنفيذي الشامل لخط أنابيب التدريب / الاستدلال ChatGPT (الأساسيات المجردة) على وكلاء LLM. يقدر نقدي للصناعة أكثر في تجاوز الأدوات مع القدرة الحالية. أعيش في ما أعتبره عالما وسيطا حيث أريد التعاون مع LLMs وحيث تتم مطابقة إيجابياتنا / سلبياتنا. تعيش الصناعة في مستقبل تتعاون فيه الكيانات المستقلة بالكامل بالتوازي لكتابة كل التعليمات البرمجية والبشر عديمي الفائدة. على سبيل المثال ، لا أريد عميلا ينفجر لمدة 20 دقيقة ويعود ب 1,000 سطر من التعليمات البرمجية. أنا بالتأكيد لا أشعر بالاستعداد للإشراف على فريق مكون من 10 منهم. أود أن أذهب في أجزاء يمكنني الاحتفاظ بها في رأسي ، حيث يشرح LLM الكود الذي يكتبه. أود أن يثبت لي أن ما فعلته صحيح ، أريده أن يسحب مستندات واجهة برمجة التطبيقات ويظهر لي أنه استخدم الأشياء بشكل صحيح. أريد أن يضع افتراضات أقل ويسأل / يتعاون معي عندما لا يكون متأكدا من شيء ما. أريد أن أتعلم على طول الطريق وأن أصبح أفضل كمبرمج ، وليس فقط الحصول على جبال من التعليمات البرمجية التي قيل لي إنها تعمل. أعتقد فقط أن الأدوات يجب أن تكون أكثر واقعية فيما يتعلق بقدرتها وكيف تتناسب مع الصناعة اليوم ، وأخشى أنه إذا لم يتم ذلك بشكل جيد ، فقد ينتهي بنا الأمر بجبال من الانحدار المتراكمة عبر البرامج ، وزيادة في نقاط الضعف والخروقات الأمنية وما إلى ذلك. أتمتة الوظائف. كيف يعمل أخصائيو الأشعة بشكل رائع وما هي الوظائف الأكثر عرضة للأتمتة ولماذا. فيزياء. يجب أن يتعلم الأطفال الفيزياء في التعليم المبكر ليس لأنهم يستمرون في الفيزياء ، ولكن لأنه الموضوع الذي ينشط الدماغ بشكل أفضل. الفيزيائيون هم الخلية الجذعية الجنينية الفكرية لدي منشور أطول تمت كتابته نصف في مسوداتي لمدة ~ سنة ، والتي آمل أن أنتهي منها قريبا. شكرا مرة أخرى Dwarkesh لاستضافتي!