Antrenarea LLM-urilor de la un capăt la altul este grea. Sunt foarte încântat să vă împărtășesc noul nostru blog (carte?) care acoperă întregul pipeline: pre-training, post-training și infra. 200+ pagini despre ce a funcționat, ce nu și cum să-l faci să ruleze în mod fiabil
> construirea unui nou model fundamental este mai dificilă decât reglarea fină a unui model deschis și optimizarea inferenței.
Cam nebunesc cât de puțin discutat este faptul că majoritatea startup-urilor (chiar și cele bine finanțate) nu își pot construi propriile modele de fundație și se pot baza pe laboratoarele chineze de frontieră care le deschid pe ale lor.
Motivul pentru care Cursor și Windsurf au lansat modele optimizate pentru viteză este că este mult mai realizabil decât construirea unui model fundamental care să împingă inteligența
1. Luați qwen3 și reglați-l fin prin RL pe ham
2. puneți-l pe hardware-ul Cerebras (sau GPU optimizat)
3. Lasă-l pe acel model mediu-inteligent și super-rapid să gătească
Pentru companiile de agenți de programare, dacă doriți să aduceți ceva de valoare pe piață, construirea unui nou model fundamental este mai dificilă decât reglarea fină a unui model deschis și optimizarea inferenței.
Sincer, este modul eficient de a lansa ceva care se apropie de frontiera Pareto și îmi place că companiile de agenți de programare încep să participe.
Dar nu confundați acest lucru cu agenții de codare care declară "mediu inteligent, dar rapid > foarte inteligent, dar lent"