@willccbb (Responsabile della Ricerca, Prime Intellect) su come funzionano realmente gli ambienti RL: "Un ambiente è essenzialmente una valutazione. Hai compiti di input, un sistema di supporto, e alla fine valuta come si comporta il tuo modello o agente. Questa è la configurazione che utilizziamo sia per le valutazioni che per l'addestramento RL." Aggiunge che il futuro non riguarda solo "ottenere 100.000 GPU in un unico grande cluster."

Nell'era del pretraining, ciò che contava era il testo di internet. Vorresti principalmente una grande, diversificata e di alta qualità collezione di documenti internet da cui apprendere. Nell'era del fine-tuning supervisionato, erano le conversazioni. Vengono assunti lavoratori a contratto per creare risposte a domande, un po' come ciò che vedresti su Stack Overflow / Quora, o simili, ma orientati verso casi d'uso di LLM. Nessuno dei due sopra menzionati sta per scomparire (a mio avviso), ma in quest'era di apprendimento per rinforzo, ora sono gli ambienti. A differenza di quanto sopra, offrono all'LLM l'opportunità di interagire realmente - compiere azioni, vedere risultati, ecc. Questo significa che puoi sperare di fare molto meglio dell'imitazione esperta statistica. E possono essere utilizzati sia per l'addestramento che per la valutazione del modello. Ma proprio come prima, il problema centrale ora è la necessità di un grande, diversificato e di alta qualità set di ambienti, come esercizi per l'LLM su cui praticare. In un certo senso, mi ricorda il primo progetto di OpenAI (gym), che era esattamente un framework che sperava di costruire una grande collezione di ambienti nello stesso schema, ma questo era molto prima degli LLM. Quindi gli ambienti erano semplici compiti di controllo accademico dell'epoca, come cartpole, ATARI, ecc. L'hub degli ambienti @PrimeIntellect (e il repo `verifiers` su GitHub) costruisce la versione modernizzata specificamente mirata agli LLM, ed è un grande sforzo/idea. Ho proposto che qualcuno costruisse qualcosa di simile all'inizio di quest'anno: Gli ambienti hanno la proprietà che, una volta che lo scheletro del framework è in atto, in linea di principio la comunità / industria può parallelizzare attraverso molti domini diversi, il che è entusiasmante. Pensiero finale - personalmente e a lungo termine, sono ottimista sugli ambienti e le interazioni agentiche, ma sono pessimista sull'apprendimento per rinforzo specificamente. Penso che le funzioni di ricompensa siano molto sospette, e penso che gli esseri umani non usino l'RL per apprendere (forse lo fanno per alcuni compiti motori, ecc., ma non per compiti di problem solving intellettuale). Gli esseri umani usano paradigmi di apprendimento diversi che sono significativamente più potenti ed efficienti in termini di campionamento e che non sono stati ancora inventati e scalati correttamente, anche se esistono schizzi e idee iniziali (come solo un esempio, l'idea di "apprendimento tramite prompt di sistema", spostando l'aggiornamento su token/contesti e non pesi e distillando facoltativamente ai pesi come processo separato un po' come fa il sonno).

La prossima generazione di startup con valutazione oltre i 10 miliardi sarà costruita scalando l'addestramento in un ambiente RL interno. Viviamo in un'abbondanza di capacità eppure abbiamo solo due principali prodotti AI, chatgpt e coding agent, e questo mi frustra profondamente. L'attuale catena di approvvigionamento dell'intelligenza artificiale è strutturalmente rotta, con un solo fornitore di hardware, un paio di grandi attori AI che possiedono tutto il raffinamento dell'intelligenza, gli sviluppatori sono lasciati con accesso API con a malapena alcun controllo. Come se l'era di Internet fosse stata costruita con Intel che vende CPU a 4 grandi cloud che possiedono l'intera infrastruttura e stack software con segreti e NDA ovunque, dando a WordPress come kit di sviluppo per le startup. Perché Perplexity non ha inventato la ricerca profonda? Non potevano semplicemente perché è addestrato con RL. La mia previsione per i prossimi anni: RL diventerà il toolkit più potente per costruire prodotti AI nelle startup. Vedremo centinaia di storie di successo come Cursor e Lovable. Gli utenti finali ne trarranno il massimo beneficio. I grandi laboratori evolveranno verso aziende di prodotto, OAI si concentrerà sul mercato dei consumatori, Anthropic sul coding agent, DeepMind integrerà l'AI in tutte le attività di Google, Meta e XAI si contenderanno i social media. Vedremo l'emergere di un ecosistema di startup di infrastruttura AI, che venderanno calcolo, addestramento di modelli fondamentali, cureranno dati, costruiranno ambienti RL, offriranno inferenze e addestramenti economici, alimentati dalla scienza aperta e dal software open source. @PrimeIntellect sta pionierando questo ecosistema e la visione dell'AGI open source, l'hub dell'ambiente RL è uno dei primi pezzi chiave.

gli ambienti di apprendimento rinforzato open-source potrebbero essere il pezzo mancante più importante per scalare verso l'AGI open-source. abbiamo creato un hub comunitario per raccoglierli in modo aperto. grati a tutti gli straordinari contributori che hanno già creato ambienti negli ultimi giorni.

La prossima generazione di startup con valutazione oltre i 10 miliardi sarà costruita scalando l'addestramento in un ambiente RL interno. Viviamo in un'abbondanza di capacità eppure abbiamo solo due principali prodotti AI, chatgpt e coding agent, e questo mi frustra profondamente. L'attuale catena di approvvigionamento dell'intelligenza artificiale è strutturalmente rotta, con un solo fornitore di hardware, un paio di grandi attori AI che possiedono tutto il raffinamento dell'intelligenza, gli sviluppatori sono lasciati con accesso API con appena alcun controllo. Come se l'era di Internet fosse stata costruita con Intel che vende CPU a 4 giganti del cloud che possiedono l'intera infrastruttura e stack software con segreti e NDA ovunque e dando a WordPress come kit di sviluppo per le startup. Perché Perplexity non ha inventato la ricerca profonda? Non potevano semplicemente perché è addestrato con RL. **La mia previsione per i prossimi anni**: RL diventerà il toolkit più potente per costruire prodotti AI per le startup. Vedremo centinaia di storie di successo come Cursor e Lovable. Gli utenti finali ne trarranno il massimo beneficio. I grandi laboratori evolveranno verso aziende di prodotto, OAI si concentrerà sul mercato dei consumatori, Antropic sul coding agent, DeepMind integrerà l'AI in tutte le attività di Google, Meta e XAI si contenderanno i social media. Vedremo l'emergere di un ecosistema di startup di infrastruttura AI, che venderanno capacità di calcolo, addestreranno modelli fondamentali, cureranno dati, costruiranno ambienti RL, offriranno inferenze e addestramenti a basso costo, alimentati dalla scienza aperta e dal software open source. @PrimeIntellect sta pionierando questo ecosistema e la visione dell'AGI open source, l'hub dell'ambiente RL è uno dei primi pezzi chiave.

e siamo in diretta! è passato molto tempo per arrivare fin qui, un enorme grazie a tutti coloro che lo hanno reso possibile lungo il cammino. non vedo l'ora di vedere cosa costruirete qui. stiamo appena iniziando :)

Introduzione all'Environments Hub Gli ambienti RL sono il principale collo di bottiglia per la prossima ondata di progressi nell'IA, ma i grandi laboratori li stanno bloccando Abbiamo costruito una piattaforma comunitaria per il crowdsourcing di ambienti aperti, affinché chiunque possa contribuire all'AGI open-source

Ora supportiamo Slurm (e presto Kubernetes) per i nostri setup multi-nodo H100, H200 e B200:

Ora supportiamo Slurm (e presto Kubernetes) per i nostri setup multi-nodo H100, H200 e B200.

Annuncio della 2ª coorte di Inflection Grants – Edizione Compute ☀️ In collaborazione con @PrimeIntellect, stiamo offrendo a 5 giovani costruttori $2.000 in crediti di calcolo per alimentare progetti innovativi – che spaziano da AI, salute, biotecnologia e spazio. Incontra i beneficiari 👇