Se questa intervista a Karpathy non fa esplodere la bolla dell'IA, niente lo farà. 10 citazioni brutali: 1. I LLM non funzionano ancora Non hanno abbastanza intelligenza, non sono abbastanza multimodali, non possono usare i computer e non ricordano ciò che gli dici. Sono cognitivamente carenti. Ci vorrà circa un decennio per risolvere tutto ciò. 2. Quando li avvii, partono sempre da zero Non hanno una fase di distillazione, nessun processo come il sonno in cui ciò che è accaduto viene analizzato e scritto di nuovo nei pesi. 3. Ciò che è memorizzato nei loro pesi è solo un vago ricordo di internet È solo un'immagine compressa di 15 trilioni di token spremuti in pochi miliardi di parametri. La loro finestra di contesto è solo memoria di lavoro a breve termine. 4. Sono bravi a imitare, terribili a uscire dal manifold dei dati Troppa memoria, non abbastanza ragionamento. Dobbiamo eliminare la conoscenza memorizzata e mantenere il nucleo cognitivo: gli algoritmi, la magia dell'intelligenza, la risoluzione dei problemi, la strategia. 5. Probabilmente abbiamo ricreato un tessuto corticale, apprendimento dei modelli e generale, ma ci manca ancora il resto del cervello Nessun ippocampo per la memoria. Nessuna amigdala per gli istinti. Nessuna emozione o motivazione. 6. Memorizzano perfettamente ma generalizzano male Se gli dai numeri casuali, possono ripeterli. Nessun umano può farlo. Questo è il problema: gli esseri umani dimenticano abbastanza da essere costretti a trovare schemi. 7. Qualsiasi cosa veramente nuova, codice che non è mai stato scritto prima, idee che non hanno template; inciampano...