🔥 To zmienia wszystko w kontekście długoterminowego AI. Nowy artykuł "Każda uwaga ma znaczenie" cicho przekształcił sposób, w jaki transformatory obsługują 128K+ tokenów. Zespół Ling zbudował hybrydową uwagę „Ring-linear”, która łączy Softmax z uwagą liniową. Rezultat? 10x tańsze wnioskowanie bez utraty dokładności. Ale oto, co mnie zaskoczyło: +50% efektywności treningu +90% szybkości wnioskowania Stabilna optymalizacja RL w ultra-długich sekwencjach Bez nonsensów z trylionami parametrów. Bez egzotycznego sprzętu. Tylko mądrzejsza architektura. Przyszłość AI to nie większa uwaga. To mądrzejsza uwaga.