fortemente sostenuto. I nostri modelli stanno apprendendo spazzatura e penso che non si tratti solo di una tassa sulle prestazioni piatta – aggiunge superficialità, memorizzazione indesiderata e "singolarità spigolose" che probabilmente aumentano con la scala. Mi chiedo come i diversi metodi di sparsità contribuiscano al problema.
Kenneth Stanley
Kenneth Stanley20 ore fa
Coloro che intuiscono che qualcosa manca nei LLM faticano a individuare il divario oltre a metafore inadeguate come "pappagallo stocastico" o "autocomplete glorificato". Ciò che stai cercando è la rappresentazione entangled fratturata (FER). Questo è il nocciolo concreto delle tue intuizioni scivolose. È il motivo per cui questi modelli possono continuare a migliorare in modi drammatici e genuinamente non banali, eppure soffrire ancora di una malattia sottostante. È qui che risiedono le vere opportunità e speranze per un progresso rivoluzionario. La rappresentazione è al centro del pensiero, della creatività e, in effetti, dell'intelligenza stessa. È possibile "conoscere" una quantità incommensurabile eppure rappresentarla male. E è possibile che la rappresentazione sia migliore. E alla fine accadrà in un modo o nell'altro.
3,02K