Perustaja @_xjdr avasi valtavan infrastruktuurin. XJDR on hullu tiedemies, joten tämän ymmärtäminen vei minulta muutaman kerran (ja uskon edelleen, etten täysin ymmärrä potentiaalia). Hän kirjoittaa täysin uudelleen Mixture of Experts MoE-mallien koulutuspinon (DeepSeekin arkkitehtuuri) tutkijoille, joilla on rajallinen laskentakyky (eli hyperskaalaajien ulkopuolinen maailma) Normaalisti näiden harvojen mallien kouluttaminen vaatii valtavia ryppäitä ja on hyvin epävakaa. XJDR rakensi uuden pinon alusta alkaen, jotta se olisi tehokas jo yhdellä solmulla Standardiinfra: Vaatii valtavia GPU-klustereita (usein epävakaita) XJDR:n pino: Ennustettava skaalaus yksittäisellä GPU:lla 8 GPU-solmuun. Vivahde tässä on siinä, että sen sijaan, että olisi luottanut raakaan voimalaskentaan virheiden tasoittamiseksi, hän ratkaisi erityiset insinööripullonkaulat, kuten reitittimen romahduksen, tehdäkseen sekakoulutuksesta vakaan ja tarkan koulutuksen pienellä laitteistolla. Hän rakensi myös rajatason dataputken, jossa 120B-oraakkelimallit arvioivat dataa varmistaakseen, että pienemmät mallit oppivat nopeammin. Yhteenveto: Hän avoimesti lähteittää koko tehtaan repositiot, datatyökalut ja painotukset demokratisoidakseen Google-tason tutkimuskyvyt yksilölle. Onnittelut @_xjdr. Olemme todella innoissamme saadessamme olla pieni osa matkaasi. Voin sanoa, että olen uskomattoman innoissani siitä, että pääset jakamaan työsi