răspunsul este că GPT-5 Smart Router a fost o descoperire în economia inferenței LLM. OpenAI și-a dublat probabil raportul profit/cost cu acesta, în comparație cu simpla servire a unui mix controlat de utilizator de o3 și o4-mini. Cu cât poți trece mai mult la modele stupide, cu atât economisești mai mult.
Teknium (e/λ)
Teknium (e/λ)10 aug., 20:23
De ce este mișcarea corectă? Serios? 1. Modelele se gândesc deja mai mult la probleme mai dificile în modul de raționament. 2. Ai putea să-l pui întotdeauna să încerce să raționeze, apoi nu te va dezamăgi niciodată în cazul în care este nevoie. 3. De fiecare dată când un răspuns nu este satisfăcător dacă nu ați avut un raționament, îl puteți porni. De ce merită atâta efort? Care sunt avantajele reale ale luării controlului de la utilizatori? De ce sunt atât de fermi în privința asta?
29,22K