Pyhä paska... tämä saattaa olla seuraava suuri paradigman muutos tekoälyssä. 🤯 Tencent + Tsinghua pudotti juuri artikkelin nimeltä Continuous Autoregressive Language Models (CALM), ja se periaatteessa tappaa "next-token" -paradigman, jolle jokainen LLM on rakennettu. Sen sijaan, että CALM ennustaisi yhden tokenin kerrallaan, se ennustaa jatkuvia vektoreita, jotka edustavat useita tokeneita kerralla. Merkitys: malli ei ajattele "sana sanalta"... se ajattelee ideoita askelta kohden. Tässä on syy, miksi se on hullua 👇 → 4× vähemmän ennustevaiheita (kukin vektori = ~4 merkkiä) → 44 % vähemmän harjoituslaskentaa → Ei erillistä sanastoa, puhdasta jatkuvaa päättelyä → Uusi mittari (BrierLM) korvaa hämmennyksen kokonaan He jopa rakensivat uuden energiapohjaisen muuntajan, joka oppii ilman softmaxia, ei token-näytteenottoa, ei sanakattoa. Se on kuin menisi morseaakkoselta... virtaamaan täydellisiä ajatuksia. Jos tämä skaalautuu, jokainen LLM on nykyään vanhentunut.