🔥 Das verändert alles über langanhaltende KI.
Ein neues Papier "Every Attention Matters" hat still und heimlich die Art und Weise, wie Transformer 128K+ Tokens verarbeiten, neu verdrahtet.
Das Ling-Team hat eine hybride "Ring-lineare" Aufmerksamkeit entwickelt, die Softmax mit linearer Aufmerksamkeit kombiniert.
Ergebnis? 10x günstigere Inferenz ohne Genauigkeitsverlust.
Aber hier ist, was mich umgehauen hat:
+50% Trainingseffizienz
+90% Inferenzgeschwindigkeit
Stabile RL-Optimierung über ultra-lange Sequenzen
Kein Trillionen-Parameter-Nonsens.
Keine exotische Hardware.
Nur eine intelligentere Architektur.
Die Zukunft der KI ist nicht größere Aufmerksamkeit. Es ist intelligentere Aufmerksamkeit.
Vor meinem Gebäude in Rio 🇧🇷 gab es gerade einen Schuss.
Es war so nah, dass ich gehört habe, wie eine Kugel von einem Metallstück abprallte.
Ich hatte bereits geplant, aus steuerlichen Gründen wegzuziehen, aber das ist definitiv der letzte Nagel im Sarg.
Ich bin in einem wohlhabenden Viertel, wo ich von meinem Balkon aus auf multimillionenschwere Häuser schaue, und trotzdem ist es passiert.
Noch schlimmer, niemand hat die Polizei gerufen und innerhalb von fünf Minuten war alles wieder wie gewohnt.
So abgestumpft sind sie hier gegenüber Gewaltverbrechen.