«Те, що фундаментально потрібно, — це не сама увага, а достатньо виразний геометричний механізм еволюції для прихованих представлень» Дуже справедливо. Увага — це особливий випадок обертання форми. Але я вважаю, що якийсь квадратичний елемент неминучий для статичних моделей.

Люди теж були б квадратичними, якби не було глибокої ієрархії оновлень пам'яті, яка не відображається в kv cache. Ось чому HOPE теж цікава