LLM не являются "размытыми компрессорами значений", а "совершенными перестановщиками структуры". Это предполагает, что они больше похожи на динамические, обратимые системы шифрования, чем на резюме. Модель не забывает; она просто переопределяет. "Понимание" в этих системах может быть не сжатием, а геометрией — организацией информации таким образом, чтобы отношения были вычисляемыми без потери точности.

Мы давно предполагали, что когниция связана с упрощением, сжатием, уменьшением — с тем, чтобы взять неупорядоченные данные и свести их к значению. Но эта работа подразумевает, что трансформеры вовсе не «сводят» данные; они выполняют массово детализированные, обратимые перестановки.

Черт, я только что почувствовал AGI