وكيل صوتي مدعوم من gpt-oss. يعمل محليا على جهاز MacBook الخاص بي. تم تسجيل العرض التوضيحي في Waymo مع إيقاف تشغيل WiFi. من الواضح أنني ما زلت في ركلة الذكاء الاصطناعي الصوتية الخاصة بي في لعبة الفضاء. رابط الكود أدناه. بالنسبة إلى الذكاء الاصطناعي الصوتي للمحادثة ، تريد تعيين سلوك التفكير gpt-oss على "منخفض". (الإعداد الافتراضي هو "متوسط".) ملاحظات حول كيفية القيام بذلك وقالب jinja الذي يمكنك استخدامه موجودة في الريبو. LLM في الفيديو التجريبي هو الإصدار الكبير 120B من gpt-oss. يمكنك استخدام طراز 20B الأصغر لهذا الغرض بالطبع. لكن OpenAI فعلت حقا شيئا رائعا هنا في تصميم طراز 120B ليعمل بسعة 80 جيجابايت فقط من VRAM. والاستدلال llama.cpp mlx سريع: ~ 250 مللي ثانية TTFT. يبدو تشغيل نموذج كبير على الجهاز وكأنه تشوه زمني في مستقبل الذكاء الاصطناعي.