Sain juuri satunnaisen ajatuksen: ChatGPT:n kaltaisten LLM:ien on oltava valtava siunaus pienten maiden epäpäteville hallituksen ministereille, jotka saivat asemansa nepotismin tai holhousverkostojen kautta. Näillä ihmisillä on usein todellista valtaa, mutta heidän on usein ymmärrettävistä syistä pakko piilottaa epäpätevyytensä alaisiltaan, poliittisilta hallitsijoilta ja väestöltä. Olen esimerkiksi varma, että jotkut kaivosministerit tietävät hyvin vähän kaivostoiminnasta ja liike-elämästä tai taloudesta, mutta ovat kuitenkin vastuussa neuvotteluista kehittyneiden kansainvälisten kaivosyhtiöiden kanssa. Tai keskuspankkien pääjohtajat, jotka eivät todellakaan ymmärrä makrotalouden perusasioita tai sitä, miten luotto ja inflaatio toimivat. Menneisyydessä näiden ihmisten piti periaatteessa "siivittää" ja toivoa parasta, tai alistua hieman vähemmän epäpäteville alaisilleen ja rukoilla, etteivät asiat menisi liian huonosti. Tai he saattavat käyttää paljon rahaa asiantuntijakonsultteihin, millä on omat haittapuolensa. Nyt nämä ministerit voivat yksinkertaisesti avata ChatGPT:n toimistonsa yksityisyydessä ja selittää ongelmansa ja päätöksensä, jotka heidän on tehtävä, ladata asiakirjoja ja lomakkeita IMF:stä tai mistä tahansa ja saada melko hyviä asiantuntijaneuvoja ilmaiseksi rajamallista. Kaikki paljastamatta kenellekään, etteivät he tiedä mitä tekevät. Olisi niin kiehtovaa tietää, kuinka moni käyttää LLM:ää tällä tavalla nykyään. Se vaikuttaa hyvältä asialta. Maailmassa on hyvin pulaa asiantuntemuksesta. Tai pikemminkin ne, joilla on pääsy valtaan, eivät useinkaan ole niitä, joilla on tarvittavat taidot tai tiedot. Toivon vain, että nämä ihmiset hakevat 200 dollarin kuukausitilausta ja käyttävät GPT-5 Pro -mallia. Mutta tavallaan epäilen, että he ovat...

Hyvillä aikomuksilla ei ole väliä tällaisissa asioissa. Tärkeintä on tekoälyn ja robotiikan kehittämistä ja käyttöönottoa koskevien päätösten ja toimien todelliset seuraukset. Kaikki, mikä hidastaa meitä tai asettaa meidät epäedulliseen asemaan suhteessa Kiinaan "turvallisuuden" nimissä, on huono asia.

DeepSeek julkaisi juuri melko järkyttävän uuden paperin. He todella hautasivat leden tänne viittaamalla siihen yksinkertaisesti nimellä DeepSeek OCR. Vaikka se on erittäin vahva OCR-malli, sen tarkoitus ja heidän lähestymistapansa vaikutukset menevät paljon pidemmälle kuin mitä voit odottaa "jälleen yhdeltä OCR-mallilta". Perinteisesti vision LLM -tokenit tuntuivat melkein jälkikäteen ajatellulta tai "pulttaukselta" LLM-paradigmaan. Ja 10 000 sanaa englantia veisi paljon enemmän tilaa multimodaalisessa LLM:ssä, kun se ilmaistaan ymmärrettävinä pikseleinä kuin tokeneina. Joten nuo 10 tuhatta sanaa ovat saattaneet muuttua 15 000 tokeniksi tai 30–60 000 "visuaaliseksi tokeniksi". Visiomerkit olivat siis paljon vähemmän tehokkaita, ja niitä oli järkevää käyttää vain tietoihin, joita ei voitu välittää tehokkaasti sanoin. Mutta se kääntyy nyt päinvastaiseksi tämän artikkelin ajatuksista. DeepSeek keksi, kuinka saada 10 kertaa parempi pakkaus käyttämällä näkömerkkejä kuin tekstimerkkejä! Joten teoriassa voisit tallentaa nämä 10 tuhatta sanaa vain 1 500 erityiseen pakattuun visuaaliseen merkkiin. Tämä ei ehkä ole niin odottamatonta kuin miltä se kuulostaa, jos ajattelet, miten oma mielesi toimii. Loppujen lopuksi tiedän, että kun etsin jo lukemaani kirjan osaa, kuvittelen sen visuaalisesti ja muistan aina, kummalla puolella kirjaa se oli ja suunnilleen missä sivulla se oli, mikä viittaa jonkinlaiseen visuaaliseen muistiesitykseen. Nyt ei ole selvää, miten tämä tarkalleen ottaen on vuorovaikutuksessa LLM:n toisen alavirran kognitiivisen toiminnan kanssa; Voiko malli päätellä yhtä älykkäästi näiden pakattujen visuaalisten merkkien yli kuin tavallisten tekstimerkkien avulla? Tekeekö se mallista vähemmän artikuloidun pakottamalla sen visiokeskeisempään muotoon? Mutta voit kuvitella, että tarkoista kompromisseista riippuen se voi olla erittäin jännittävä uusi akseli laajentaa tehokkaasti kontekstikokoja huomattavasti. Varsinkin kun se yhdistetään DeepSeekin toiseen viimeaikaiseen artikkeliin pari viikkoa sitten harvasta huomiosta. Tiedämme, että Google olisi jo voinut keksiä jotain tällaista, mikä voisi selittää, miksi Geminillä on niin valtava kontekstikoko ja se on niin hyvä ja nopea OCR-tehtävissä. Jos he tekisivät niin, he eivät luultavasti sanoisi, koska sitä pidettäisiin tärkeänä liikesalaisuutena. Mutta DeepSeekin hieno puoli on, että he ovat tehneet koko asiasta avoimen lähdekoodin ja avoimen painot ja selittäneet, miten he tekivät sen, joten nyt kaikki voivat kokeilla sitä ja tutkia. Vaikka nämä temput tekisivät huomiosta häviävämpää, mahdollisuus saada raja-LLM 10 tai 20 miljoonan tokenin kontekstiikkunalla on melko jännittävä. Voit periaatteessa pakata kaikki yrityksen tärkeimmät sisäiset asiakirjat nopeaan johdanto-osaan ja tallentaa sen välimuistiin OpenAI:n avulla ja lisätä sitten tietyn kyselyn tai kehotteen sen päälle, eikä sinun tarvitse käsitellä hakutyökaluja ja silti se on nopea ja kustannustehokas. Tai laita kokonainen koodikanta kontekstiin ja tallenna se välimuistiin, ja sitten vain jatka git-vertailujen liittämistä, kun teet muutoksia koodiin. Jos olet koskaan lukenut tarinoita suuresta fyysikosta Hans Bethestä, hänet tunnettiin siitä, että hänellä oli valtava määrä satunnaisia fysikaalisia faktoja ulkoa opeteltuna (kuten koko jaksollinen järjestelmä, eri aineiden kiehumispisteet jne.), jotta hän pystyi ajattelemaan ja laskemaan saumattomasti ilman, että hänen tarvitsi koskaan keskeyttää virtaustaan etsiäkseen jotain viitetaulukosta. Valtava määrä tehtäväkohtaista tietoa työmuistissasi on erittäin hyödyllistä. Tämä vaikuttaa erittäin fiksulta ja additiiviselta lähestymistavalta laajentaa muistipankkia mahdollisesti 10-kertaiseksi tai enemmän.