DApp-butik | Web3-hubb för evenemang och spel

Trendande ämnen

CodecFlow

Körningslager för AI-operatörer och robotik på @Solana CA:69LjZUUzxj3Cb3Fxeo1X4QpYEQTboApkhXTysPpbpump

VLA:er är fortfarande väldigt nya och många människor har svårt att förstå skillnaden mellan VLA:er och LLM:er. Här är en djupdykning i hur dessa AI-system skiljer sig åt när det gäller resonemang, avkänning och handling. Del 1. Låt oss dela upp de viktigaste skillnaderna och hur AI-agenter lindade runt en LLM skiljer sig från operatörsagenter som använder VLA-modeller: 1. Känsla: Hur de uppfattar världen Agent (LLM): Bearbetar text eller strukturerade data, t.ex. JSON, API:er och ibland bilder. Det är som en hjärna som arbetar med rena, abstraherade indata. Tänk dig att läsa en manual eller analysera ett kalkylblad. Perfekt för strukturerade miljöer men begränsad av vad som matas till den. Operatör (VLA): Ser råa pixlar i realtid från kameror, plus sensordata (t.ex. beröring, position) och proprioception (självmedvetenhet om rörelse). Det är som att navigera i världen med ögon och sinnen och trivas i dynamiska, röriga miljöer som användargränssnitt eller fysiska utrymmen. 2. Agera: Hur de interagerar Agent: Fungerar genom att anropa funktioner, verktyg eller API:er. Föreställ dig att en chef skickar exakta instruktioner som "boka ett flyg via Expedia API". Det är medvetet men förlitar sig på förbyggda verktyg och tydliga gränssnitt. Operator: Utför kontinuerliga åtgärder på låg nivå, som att flytta en muspekare, skriva eller styra robotleder. Det är som en skicklig arbetare som direkt manipulerar miljön, perfekt för uppgifter som kräver precision i realtid. 3. Kontroll: Hur de fattar beslut Agent: Följer en långsam, reflekterande loop: planera, anropa ett verktyg, utvärdera resultatet, upprepa. Den är tokenbunden (begränsas av textbearbetning) och nätverksbunden (väntar på API-svar). Detta gör det metodiskt men trögt för uppgifter i realtid. Operatör: Arbetar och fattar stegvisa beslut i en tät återkopplingsslinga. Tänk på det som en spelare som reagerar direkt på det som visas på skärmen. Denna hastighet möjliggör smidig interaktion men kräver robust bearbetning i realtid. 4. Data att lära sig: Vad som driver deras utbildning Agent: Utbildad på omfattande textkorpusar, instruktioner, dokumentation eller RAG-datauppsättningar (Retrieval-Augmented Generation). Den lär sig från böcker, kod eller vanliga frågor och svar och utmärker sig på att resonera framför strukturerad kunskap. Operatör: Lär sig från demonstrationer (t.ex. videor av människor som utför uppgifter), fjärrstyrningsloggar eller belöningssignaler. Det är som att lära sig genom att titta och öva, perfekt för uppgifter där explicita instruktioner är knapphändiga. 5. Fellägen: Var de går sönder Agent: Benägen att hallucinera (hitta på svar) eller bräckliga planer med lång horisont som går i stöpet om ett steg misslyckas. Det är som en strateg som övertänker eller misstolkar situationen. Operatör: Står inför kovariatförskjutning (när träningsdata inte matchar verkliga förhållanden) eller sammansatta fel i kontrollen (små misstag snöbollseffekt). Det är som en förare som tappar kontrollen på en okänd väg. 6. Infra: Tekniken bakom dem Agent: Förlitar sig på en prompt/router för att bestämma vilka verktyg som ska anropas, ett verktygsregister för tillgängliga funktioner och minne/RAG för kontext. Det är en modulär installation, som en kommandocentral som orkestrerar uppgifter. Operatör: Behöver pipelines för videoinmatning, en åtgärdsserver för realtidskontroll, en säkerhetssköld för att förhindra skadliga åtgärder och en uppspelningsbuffert för att lagra upplevelser. Det är ett högpresterande system byggt för dynamiska miljöer. 7. Var var och en lyser: Deras söta fläckar Agent: Dominerar i arbetsflöden med rena API:er (t.ex. automatisering av affärsprocesser), resonemang över dokument (t.ex. sammanfattning av rapporter) eller kodgenerering. Det är din favorit för strukturerade uppgifter på hög nivå. Operatör: Utmärker sig i röriga, API-fria miljöer som att navigera i klumpiga användargränssnitt, styra robotar eller ta itu med spelliknande uppgifter. Om det handlar om interaktion i realtid med oförutsägbara system är VLA kung. 8. Mental modell: Planerare + Görare Tänk på LLM-agenten som planeraren: den delar upp komplexa uppgifter i tydliga, logiska mål. VLA-operatören är den som utför dessa mål genom att direkt interagera med pixlar eller fysiska system. En kontrollant (ett annat system eller en agent) övervakar resultaten för att säkerställa framgång. $CODEC

Codecflow Optr erbjuder ett enhetligt tillvägagångssätt för att skapa agenter som ser, resonerar och agerar i digitala och fysiska miljöer. Oavsett om det handlar om att automatisera arbetsflöden på skrivbordet, styra robotarmar eller testa i simulering använder den samma mentala modell och primitiver.

Nedgångar på en tjurmarknad är avsedda att köpas, särskilt på projekt med stora katalysatorer Vi vet alla att AI är berättelsen om denna cykel, som startades av ai16z och Virtuals förra året. Jag slår vad om att marknaden kommer att fokusera på mer komplexa och sofistikerade teknologier som VLAs, och låt mig berätta varför. LLM:er (Large Language Models) läser och skriver huvudsakligen text: de är bra på att förklara, planera och generera instruktioner, men de styr inte själva motorer eller interagerar med den fysiska världen (som du kanske har upplevt med chatgpt). VLA:er (Vision Language Action-modeller) skiljer sig från LLM:er eftersom de är multimodala system som tittar på saker (vision), förstår instruktioner (språk) och direkt producerar handlingar. Det är som att säga till en robot att plocka upp en röd kopp och sedan röra på armen för att göra det. VLA:er tränas på exempel som parar ihop bilder/video + instruktioner + verkliga handlingsspår (hur en robot faktiskt rörde sig), och de måste köras snabbt och säkert i realtid. LLM:er å sin sida är utbildade på enorma textsamlingar och fokuserar på resonemang och språkuppgifter. TL; DR LLM:er tänker och talar när VLA:er ser, resonerar och agerar. Som du kan se är VLA:er ett stort tillskott till LLM:er och kommer särskilt att möjliggöra nästa 0 till 1 innovation i den totala ekonomin som kommer att vara robotik. En majoritet av investeringsfonderna allokerar en stor del av sina investeringar till denna sektor, vilket ses som nästa logiska utveckling inom AI-industrin. Jag gjorde redan ett inlägg för ett tag sedan om den nuvarande ledaren på kryptomarknaden, @codecopenflow, som inte samlade in kapital (rättvis lansering) men som ändå skickar banbrytande produkter och för närvarande ligger på 23 miljoner dollar FDV. För information samlade andra kryptokonkurrenter in 20 miljoner dollar (@openmind_agi) till vad som förmodligen är 200 miljoner till 300 miljoner dollar ++ FDV medan ingen produkt eller gemenskap har byggts och levererats ännu. Det som gör Codec till ett ledande projekt inom sektorn är att de tar itu med en avgörande flaskhals inom robotik och AI, nämligen svårigheten att få alla AI-verktyg att samverka med varandra. Låt mig förklara. Deras senaste version, OPTR (operatör), är en verktygslåda som hjälper till att bygga operatörer som kan interagera på flera plattformar som robotar, stationära datorer, webbläsare eller simuleringar. Målet för en operatör är att se, resonera och agera (VLA) i både digitala (datorer) och fysiska (robotar) världar. Denna verktygslåda fungerar som kärninfrastruktur för robotteam som vill testa sin produkt och förbättra den övergripande processen genom att tillhandahålla en enhetlig upplevelse istället för separata för webbläsare, simuleringar eller robotar. Detta gör i huvudsak operatören anpassningsbar och autonom oavsett miljö. Så du fattar, det kommer att spara mycket tid för företag och utvecklare som tidigare var tvungna att gå igenom varje steg manuellt och där du kan spara tid kan du spara pengar. Det kommer också att göra det möjligt för Codec att bygga sina egna operatörsprojekt och relativt snabbt lansera ny kapacitet på marknaden, särskilt via sin marknadsplats. TL; DR: Du har förmodligen sett videor av robotar som viker näsdukar, sorterar lådor eller hoppar på olika element. De har alla tränats för detta mycket specifika användningsfall, och tyvärr kan en färdighet inte återanvändas i en annan miljö som en människa skulle kunna göra. OPTR från Codec löser detta genom att göra färdigheter överförbara mellan miljöer och situationer, vilket gör utbildning och utveckling mycket snabbare och billigare för företag. Det är därför Codec är så intressant för att förena den digitala världen med den fysiska världen. $CODEC, kodad.

Vi är glada att se att det kinesiska samhället lägger märke till CodecFlow och älskar det vi bygger. Välkommen. Vi har bara börjat. Mycket mer kommer att komma.

Topp

Rankning

Favoriter

Trendande på kedjan

Trendande på X

Senaste toppfinansieringarna

Mest anmärkningsvärda