știi că poți doar să construiești o aplicație, să folosești cel mai inteligent LLM disponibil care îți face utilizatorii foarte fericiți, să colectezi datele, apoi să distilezi un LLM mai târziu pentru a-l face mult mai rapid și cu un ordin de mărime mai ieftin, nu?

Acest lucru se citește ca un comentariu AI, dar justificarea pentru a face un comentariu AI la o postare Medium este dincolo de noi. Deci, în ciuda instinctelor noastre, trebuie să concluzionăm că acesta este un om. Mulțumesc pentru compliment!

Așa că permiteți-mi să clarific acest lucru. Inferența are: 1. O rețea descentralizată care furnizează inferență LLM la prețul energiei electrice 2. Modelul de antrenament și servirea cotletelor pentru a face modele super ieftine, în special pentru sarcini specializate 3. Acorduri cu centre de date pentru a închiria capacitate subutilizată la tarife masiv reduse 4. Un API de inferență a lotului conceput pentru a se scala la miliarde de cereri Și @paulg tot nu ne urmărește? Asta niște b.s.

Claude a halucinat un CLI de inferență în lot, dar este destul de dulce. Ar trebui să-l livrăm?

Crezi că ești amuzant, twitter anon? Iată șansa ta de a dovedi acest lucru. Am construit o rețea de inferență distribuită pentru inferența LLM la scară largă și am antrenat ClipTagger-12B, un model de subtitrare a cadrelor video SOTA. Acum avem nevoie de o rețea de marketing distribuită, astfel încât oamenii să afle despre ea (adică tu). Trimitem 250 USD persoanei sau inteligenței artificiale care creează cea mai bună/mai amuzantă legendă a imaginii (măsurată prin numărul de aprecieri) folosind noul nostru model. Dați like acestei postări + repostare/comentariu cu legenda + imaginea pentru a fi eligibil. Câștigătorul ales în 100 de ore. Link către locul de joacă de mai jos ⬇️

În curând în centrul orașului San Francisco

Mulți oameni au vrut să învețe cum să folosească modelul nostru ClipTagger-12B pentru a căuta videoclipuri. Noul nostru eșantion vă arată cum puteți extrage cadre din videoclip, le puteți subtitra cu ClipTagger, apoi puteți căuta cadre eficient cu Chroma. Dacă construiți căutarea video, merită să aruncați o privire! Link mai jos 👇

panou publicitar frumos

Cum este să distilezi inteligența într-un model 12B

Semnalizarea cu neon Inference HQ merge greu