Mikä on $CODEC-operaattori? Siellä Vision-Language-Action -mallit tekevät tekoälystä vihdoin hyödyllisen todellisessa työssä. Operaattori on VLA-malleihin perustuva autonominen ohjelmistoagentti, joka suorittaa tehtäviä jatkuvan havaitsemis-syy-toimintasyklin kautta. LLM:t osaavat ajatella ja puhua loistavasti, mutta he eivät osaa osoittaa, napsauttaa tai tarttua mihinkään. Ne ovat puhtaita päättelymoottoreita, joilla ei ole maadoitusta fyysisessä maailmassa. VLA:t yhdistävät visuaalisen havainnon, kielen ymmärtämisen ja jäsennellyn toiminnan tuotoksen yhdellä eteenpäin suuntautuvalla syötöllä. Vaikka LLM kuvaa, mitä pitäisi tapahtua, VLA-malli itse asiassa saa sen tapahtumaan lähettämällä koordinaatteja, ohjaussignaaleja ja suoritettavia komentoja. Operaattorin työnkulku on: - Havainto: tallentaa kuvakaappauksia, kamerasyötteitä tai anturitietoja. - Päättely: käsittelee havaintoja luonnollisen kielen ohjeiden rinnalla VLA-mallin avulla. - Toiminto: suorittaa päätökset käyttöliittymän vuorovaikutuksen tai laitteiston ohjauksen avulla – kaikki yhdessä jatkuvassa silmukassa. Esimerkkejä: LLM vs. VLA-mallilla toimiva operaattori Kokouksen ajoittaminen LLM: Tarjoaa yksityiskohtaisen selityksen kalenterin hallinnasta ja hahmottelee kokouksen ajoittamisen vaiheet. Operaattori VLA-mallilla: - Kaappaa käyttäjän työpöydän. - Tunnistaa kalenterisovelluksen (esim. Outlook, Google-kalenteri). - Siirtyy torstaihin, luo kokouksen klo 14 ja lisää osallistujia. - Mukautuu automaattisesti käyttöliittymän muutoksiin. Robotiikka: Objektien lajittelu LLM: Luo tarkat kirjalliset ohjeet objektien lajitteluun, kuten punaisten komponenttien tunnistamiseen ja järjestämiseen. Operaattori VLA-mallilla: - Tarkkailee työtilaa reaaliajassa. - Tunnistaa punaiset komponentit sekaobjektien joukosta. - Suunnittelee törmäyksettömät lentoradat robottikäsivarrelle. - Suorittaa poiminta- ja sijoitustoimintoja mukautuen dynaamisesti uusiin paikkoihin ja suuntiin. VLA-mallit kurovat vihdoin umpeen kuilun tekoälyn, joka osaa järkeillä maailmasta, ja tekoälyn välillä, joka voi todella muuttaa sitä. Ne muuttavat automaation hauraasta sääntöjen noudattamisesta mukautuvaksi ongelmanratkaisuksi – älykkäiksi työntekijöiksi. "Perinteiset komentosarjat rikkoutuvat, kun ympäristö muuttuu, mutta operaattorit käyttävät visuaalista ymmärrystä sopeutuakseen reaaliajassa ja käsittelevät poikkeuksia sen sijaan, että kaatuisivat niihin."