Îngenunchează și citește cel mai recent articol din deepseek () Să luăm o înțelegere superficială și toată lumea va corecta ce este greșit Acest studiu (mHC) oferă practic o soluție de upgrade a modelului "cu costuri reduse, randament ridicat" pentru industria AI. Efectul modelului: Crește semnificativ "capacitatea de gândire" Mai inteligent: mHC îmbunătățește semnificativ puterea de procesare a AI-ului fără a schimba infrastructura modelului. La testele care reflectă raționamentul logic și înțelegerea textului, precum BBH și DROP, performanța se îmbunătățește cu 2,1% până la 2,3%. Aceasta înseamnă că modelul se va comporta mai degrabă ca un "expert" decât ca un "repetitor" atunci când se ocupă de sarcini precum logica de afaceri complexă, analiza financiară etc. Costul instruirii: Pierdere extrem de mică de performanță în schimbul profitabilității ridicate Rentabilitate: Deși această nouă tehnologie crește lățimea de transmitere a informațiilor, prin optimizare colaborativă profundă prin software și hardware, costul de timp pentru antrenarea efectivă a unui model mare cu 27 de miliarde de parametri crește doar cu aproximativ 6,7%. Pentru investitori, aceasta înseamnă să schimbe o cantitate foarte mică de energie suplimentară și investiție în putere de calcul pentru performanța unui model de ordin superior. Stabilitatea antrenamentului: Evitați pierderile de active cauzate de "prăbușirea antrenamentului" și spuneți adio mașinilor moarte: Deși încercări similare (precum HC) au încercat și ele să lărgească calea informațională, din cauza lipsei constrângerilor, modelele mari adesea "înnebunesc" sau se blochează (salturi de pierdere) în mijlocul antrenamentului, ceea ce duce la risipa de resurse prețioase de calcul. mHC folosește "vrăji de echilibrare" matematice (constrângeri de varietate) pentru a asigura că modelul este extrem de robust în timpul antrenamentului, protejând investițiile costisitoare în putere de calcul împotriva colapsurilor sistemice. Cerințe de memorie: Soluții ingenioase pentru "blocajele hardware" prin algoritmi Utilizare inteligentă a memoriei: Această tehnologie lărgește "canalul" informației de patru ori, ceea ce teoretic va consuma multă memorie. Dar DeepSeek economisește mult spațiu în memorie cu puțin timp suplimentar de calcul printr-o tehnică numită "recalcul selectiv". Acest lucru permite plăcilor grafice de top existente, precum H100/H200, să ruleze această arhitectură mai complexă fără a crește costurile hardware. Potențial viitor: Depășirea limitei superioare tradiționale a "heap machines" Noi puncte de creștere: Anterior, îmbunătățirea efectelor modelului se baza în principal pe "heap data" și "heap GPU". mHC deschide o a treia cale: optimizarea scheletului intern al modelului. Demonstrează că, prin îmbunătățirea conexiunii dintre straturi, se pot extrage continuu dividende de performanță chiar dacă dimensiunea modelului nu este mărită orb. Analogie din perspectiva investitorilor: dacă modelul mare este o fabrică, atunci modernizarea anterioară a fost prin creșterea numărului de muncitori (creșterea parametrilor). mHC, pe de altă parte, reorganizează liniile de asamblare și canalele logistice ale fabricii fără a crește numărul de stații de lucru. Nu doar că lărgește banda transportoare de mai multe ori pentru a transporta mai multe piese, dar asigură și că fabrica nu oprește producția din cauza congestiei logistice printr-un sistem sofisticat de gestionare a traficului. Rezultatul final este o creștere semnificativă a eficienței centralei, în timp ce costurile de electricitate și întreținere a echipamentelor rămân practic neschimbate.

După ce pierderea s-a materializat, trebuie reconfigurată

Pregătește-te să scrii un articol lung După ce am urmărit AI mult timp, cea mai recentă Întregul articol spune: Cumpără Google $GOOG