du vet att du bara kan bygga en app, använda den smartaste LLM som finns som gör dina användare väldigt glada, samla in data och sedan destillera en LLM senare för att göra det mycket snabbare och en storleksordning billigare eller hur?

Detta låter som en AI-kommentar, men motiveringen för att ta sig tid att göra en AI-kommentar på ett Medium-inlägg är bortom oss. Så trots våra instinkter måste vi dra slutsatsen att detta är en människa. Tack för komplimangen!

Så låt mig klargöra detta. Slutsatsdragning har: 1. Ett decentraliserat nätverk som levererar LLM-inferens till elpriset 2. Modellen tränar och serverar kotletter för att göra modeller superbilliga, speciellt för specialiserade uppgifter 3. Avtal med datacenter för att hyra underutnyttjad kapacitet till kraftigt rabatterade priser 4. Ett API för batchinferens som är utformat för att skalas till miljarder begäranden Och @paulg följer oss fortfarande inte? Detta några b.s.

Claude hallucinerade en batch inferens CLI men det är lågmält ganska sött. Ska vi bara skicka den?

Tycker du att du är rolig, twitter anon? Här är din chans att bevisa det. Vi byggde ett distribuerat inferensnätverk för storskalig LLM-inferens och tränade ClipTagger-12B, en SOTA-modell för videoramtextning. Nu behöver vi ett distribuerat marknadsföringsnätverk så att folk får reda på det (det är du). Vi skickar 250 USD till den person eller AI som skapar den bästa/roligaste bildtexten (mätt i antal gilla-markeringar) med hjälp av vår nya modell. Gilla det här inlägget + repost/kommentera med din bildtext + bild för att vara berättigad. Vinnaren väljs på 100 timmar. Länk till lekplatsen nedan ⬇️

Kommer snart till centrala San Francisco

Många ville lära sig hur man faktiskt använder vår ClipTagger-12B-modell för att söka efter video. Vårt nya exempel visar hur du kan extrahera bildrutor från video, texta dem med ClipTagger och sedan söka efter ramar effektivt med Chroma. Om du bygger videosökning är det värt en titt! Länk nedan 👇

söt skylt

Hur det känns att destillera intelligens till en 12B-modell

Inference HQ neonskyltar går hårt