Голосовой агент на базе gpt-oss. Запускается локально на моем MacBook. Демонстрация записана в Waymo с отключенным WiFi. Я все еще увлечен голосовым ИИ для космических игр, очевидно. Ссылка на код ниже. Для разговорного голосового ИИ вам нужно установить поведение рассуждения gpt-oss на "низкое". (По умолчанию стоит "среднее".) Заметки о том, как это сделать, и шаблон jinja, который вы можете использовать, находятся в репозитории. LLM в демонстрационном видео — это большая версия gpt-oss на 120 миллиардов параметров. Вы, конечно, можете использовать меньшую модель на 20 миллиардов. Но OpenAI действительно сделала классную вещь, разработав модель на 120 миллиардов, которая работает на "всего лишь" 80 ГБ VRAM. А инференс llama.cpp mlx быстрый: ~250 мс TTFT. Запуск большой модели на устройстве ощущается как путешествие во времени в будущее ИИ.