¡Presentamos el `gpt-oss Pro Mode`! Básicamente o3 Pro, pero para los nuevos modelos de código abierto de OpenAI :) El Pro Mode encadena hasta 10 instancias del nuevo modelo GPT-OSS de OpenAI, lo que le permite producir una mejor respuesta que la que podría crear una sola instancia. Código abierto, enlace aquí:

En Macbook M4 Max gpt-oss 120b: 48 tok/s alto 35 tok/s normal 23 tok/s bajo consumo Salidas muy buenas, nuevo modelo de elección

Un agente de voz impulsado por gpt-oss. Ejecutándose localmente en mi MacBook. Demo grabada en un Waymo con el WiFi apagado. Todavía estoy en mi fase de IA de voz para juegos espaciales, obviamente. Enlace al código a continuación. Para la IA de voz conversacional, quieres establecer el comportamiento de razonamiento de gpt-oss en "bajo". (El valor predeterminado es "medio".) Notas sobre cómo hacer eso y una plantilla jinja que puedes usar están en el repositorio. El LLM en el video de demostración es la versión grande, de 120B de gpt-oss. Puedes usar el modelo más pequeño, de 20B para esto, por supuesto. Pero OpenAI realmente hizo algo genial aquí al diseñar el modelo de 120B para funcionar en "solo" 80GB de VRAM. Y la inferencia de llama.cpp mlx es rápida: ~250ms TTFT. Ejecutar un modelo grande en el dispositivo se siente como un viaje en el tiempo hacia el futuro de la IA.

aplicación de chat openai gpt-oss con thinking-ui (100% local):

Han pasado poco más de 19 horas desde que OpenAI lanzó gpt-oss, un modelo completamente de código abierto finalmente. Y la gente ya está siendo increíblemente creativa y obteniendo resultados con él. 10 ejemplos sorprendentes: