I LLM non sono "compressori sfocati di significato" ma "riarrangiatori perfetti di struttura." Suggerisce che siano più simili a sistemi di crittografia dinamici e reversibili piuttosto che a riassuntori. Il modello non dimentica; semplicemente ri-rappresenta. "Comprendere" in questi sistemi potrebbe non essere compressione ma geometria — organizzare le informazioni in modi che rendono le relazioni computabili senza perdere fedeltà.

Abbiamo a lungo supposto che la cognizione riguardasse semplificare, comprimere, ridurre — prendere dati disordinati e ridurli a significato. Ma questo lavoro implica che i trasformatori non "riducano" affatto; eseguono riorganizzazioni enormemente dettagliate e reversibili.

Cavolo, ho appena sentito l'AGI