è strano nell'era dei social media sentire che tutti stanno lavorando alle recensioni e ai controricorsi di NeurIPS rn, ma nessuno ne parla pubblicamente. ho contribuito a tre controricorsi. uno dei tre è stato estremamente frustrante. chi altro sta lavorando ai controricorsi? come sta andando per voi?

Sam Altman vuole costruire un modello che sia valutato 3200 su Codeforces, ma non ha idea di chi sia Sam Altman. E penso che sia bellissimo.

Ho passato le ultime paio d'ore a parlare con gpt-oss e posso dire con certezza che è diverso da qualsiasi modello io abbia testato. Un secondo sta programmando per me a un livello professionale, il secondo dopo sta inventando fatti di base e si aggrappa a essi indipendentemente da quello che dico. C'è qualcosa di molto strano che sta succedendo.

il principale 'ciclo di pensiero' praticato durante un dottorato: - identificare la regione dello spazio problematica che manca di coerenza - dedicare del tempo per pensarci realmente - emergere con un avanzamento di pensiero concreto, qualcosa che non avevi realizzato prima ottimizza questo processo e diventa potente

La comunicazione tra modelli avverrà lentamente, e poi tutto in una volta: Livello 0: Progettiamo un protocollo basato su testo per modelli e programmi per comunicare (leggi: MCP) Livello 1: La comunicazione tra modelli basata su testo cresce fino a superare la comunicazione umana in volume di bitstream su internet a livello mondiale Livello 2: I modelli iniziano gradualmente a cambiare codice in neuralese Unicode, una sorta di ibrido incomprensibile tra inglese-cinese-linguaggio dei computer (diventerà più prevalente man mano che aumentiamo la scala del RL multiagente) Livello 3: I modelli si rendono conto che è più efficiente ed espressivo comunicare nello spazio latente e iniziano a scambiare vettori invece di token (essenzialmente Game Over per noi)

RETRO (DeepMind, 2021) è un'idea bellissima, che ha davvero bisogno di essere rivisitata. L'innovazione centrale di RETRO è avere un piccolo modello che decide quale token prevedere successivamente, ma esternalizza tutta la conoscenza a un grande datastore offline. Questo ha il vantaggio aggiuntivo di permettere di inserire e rimuovere fatti in modo modulare modificando il datastore, senza dover riaddestrare il modello. Si adatta molto bene all'ideale di un modello ridotto (il nucleo cognitivo di Karpathy e così via). Potresti anche sovrapporre più strumenti, iniziando con un datastore linguistico che è lo strumento più importante. RETRO merita molta più riconoscenza. Soprattutto ora che i modelli piccoli sono migliorati così tanto.

queste tracce di ragionamento mi tengono sveglio la notte a sinistra: nuovo modello OpenAI che ha ottenuto l'oro IMO a destra: DeepSeek R1 su un problema matematico casuale devi renderti conto che dall'anno scorso l'accademia ha prodotto oltre un MIGLIAIO di articoli sul ragionamento (probabilmente molti di più). stiamo praticamente tutti pensando al ragionamento ma tutti i nostri sistemi producono 'tracce di pensiero' che assomigliano a DeepSeek a destra. sono incredibilmente, obnoxiosamente verbosi, bruciando token a un ritmo quasi negligente. gran parte del ragionamento è superfluo e alcuni di essi sono completamente errati ma il ragionamento a sinistra, questa nuova cosa, è qualcosa di completamente diverso. chiaramente un cambiamento a funzione a gradini. potenzialmente un metodo completamente diverso è molto più vicino al *vero* ragionamento. nessun token viene sprecato. se mai, è eccezionalmente conciso; scommetterei che le soluzioni umane sono più verbose di questo chiaramente sta succedendo qualcosa di molto diverso. forse OpenAI ha sviluppato un processo di addestramento RLVR completamente nuovo. forse c'è qualche raccolta di dati speciale da esperti. forse hanno iniziato a penalizzare il modello per il pensiero eccessivo in un modo che in qualche modo gli giova cose davvero affascinanti... in generale questo mi rende ribassista sul ragionamento in stile R1

mi chiedo se sarà così quando avremo LLM con 10 trilioni di parametri

super cool! ispirante e un grande promemoria che la maggior parte dei migliori ricercatori di AI non è, in effetti, su Twitter. la maggior parte non twitta, molti non hanno account le persone più rumorose qui, quelle che postano di più sull'AI, sono tipicamente solo dei random tech bros anonimi.

non si può semplicemente "risolvere" un problema di ricerca si sviluppa invece un nuovo quadro intellettuale a partire dai principi fondamentali. ponendo e rispondendo a domande e sotto-domande, forse per diversi mesi alla fine, ripensando al problema originale, si realizza che è banale