I en tid med fortrening var det internetttekst som betydde noe. Du vil først og fremst ha en stor, mangfoldig samling av internettdokumenter av høy kvalitet å lære av. I en tid med overvåket finjustering var det samtaler. Kontraktsarbeidere er ansatt for å lage svar på spørsmål, litt som det du vil se på Stack Overflow / Quora, eller etc., men rettet mot LLM-brukstilfeller. Ingen av de to ovennevnte forsvinner (imo), men i denne epoken med forsterkende læring er det nå miljøer. I motsetning til de ovennevnte, gir de LLM en mulighet til å faktisk samhandle - iverksette handlinger, se resultater osv. Dette betyr at du kan håpe å gjøre det mye bedre enn statistisk ekspertimitasjon. Og de kan brukes både til modelltrening og evaluering. Men akkurat som før, er kjerneproblemet nå å trenge et stort, mangfoldig sett med miljøer av høy kvalitet, som øvelser for LLM å øve mot. På noen måter blir jeg minnet om OpenAIs aller første prosjekt (treningsstudio), som var akkurat et rammeverk i håp om å bygge en stor samling miljøer i samme skjema, men dette var lenge før LLM-er. Så miljøene var enkle akademiske kontrolloppgaver på den tiden, som cartpole, ATARI, etc. Huben for @PrimeIntellect miljøer (og «verifikatorer»-repositoriet på GitHub) bygger den moderniserte versjonen som er spesielt rettet mot LLM-er, og det er en flott innsats/idé. Jeg foreslo at noen skulle bygge noe lignende tidligere i år: Miljøer har den egenskapen at når skjelettet til rammeverket er på plass, kan i prinsippet samfunnet/industrien parallellisere på tvers av mange ulike domener, noe som er spennende. Siste tanke - personlig og langsiktig, jeg er bullish på miljøer og agentiske interaksjoner, men jeg er bearish på forsterkende læring spesifikt. Jeg tror at belønningsfunksjoner er super sus, og jeg tror mennesker ikke bruker RL for å lære (kanskje de gjør det for noen motoriske oppgaver osv., men ikke intellektuelle problemløsningsoppgaver). Mennesker bruker forskjellige læringsparadigmer som er betydelig kraftigere og prøveeffektive, og som ikke har blitt ordentlig oppfunnet og skalert ennå, selv om tidlige skisser og ideer eksisterer (som bare ett eksempel, ideen om "systemrask læring", flytte oppdateringen til tokens/kontekster ikke vekter og eventuelt destillere til vekter som en egen prosess litt som søvn gjør).

Neste generasjon av 10B+ verdivurderingsproduktoppstart vil bli bygget ved å skalere opplæring på internt RL-miljø Vi lever i en overflod av muligheter, og likevel har vi bare to store AI-produkter, chatgpt og kodeagent, og det frustrerer meg dypt Den nåværende forsyningskjeden for kunstig intelligens er strukturelt ødelagt med en maskinvareleverandør, et par gigantiske AI-spillere som eier alt etterretningsraffineriet, utviklere sitter igjen med api-tilgang med knapt ingen kontroll Som om internett-æraen ble bygget med Intel som solgte CPU til 4 gigantiske skyer som eier hele infrastrukturen og programvarestabelen med hemmelighet og nda over alt og gir wordpress som et utviklingssett til oppstart Hvorfor oppfant ikke forvirring dyp forskning? De kunne bare ikke fordi det er trene med RL Min spådom for de neste årene: RL vil bli det kraftigste verktøysettet for oppstartsbygging av AI-produkter. Vi vil se hundrevis av suksesshistorier som markør og elskelig. Sluttbrukeren vil ha mest nytte av det Store laboratorier vil utvikle seg mot produktselskap, oai vil fokusere på forbrukermarkedet, Antropic på kodeagent, deepmind vil integrere AI i alle Google-virksomheter, meta og XAI kjemper om sosiale medier Vi vil se fremveksten av et økosystem av oppstart av AI-infrastruktur, salg av databehandling, opplæringsgrunnmodell, kuratering av data, bygging av RL-miljø, tilbud om billig slutning og opplæring, drevet av åpen vitenskap og åpen kildekode-programvare. @PrimeIntellect er banebrytende for dette økosystemet og visjonen om åpen kildekode-agi, er RL-miljøhuben en av de første nøkkelbrikkene

RL-miljøer med åpen kildekode kan være den viktigste delen som mangler for skalering til åpen kildekode-AI. Vi har bygget et fellesskapssenter for å crowdsource dem i det fri Takknemlig for alle de fantastiske bidragsyterne som allerede har skapt miljøer de siste dagene

Neste generasjon av 10B+ verdivurderingsproduktoppstart vil bli bygget ved å skalere opplæring på internt RL-miljø Vi lever i en overflod av muligheter, og likevel har vi bare to store AI-produkter, chatgpt og kodeagent, og det frustrerer meg dypt Den nåværende forsyningskjeden for kunstig intelligens er strukturelt ødelagt med en maskinvareleverandør, et par gigantiske AI-spillere som eier alt etterretningsraffineriet, utviklere sitter igjen med api-tilgang med knapt ingen kontroll Som om internett-æraen ble bygget med Intel som solgte CPU til 4 gigantiske skyer som eier hele infrastrukturen og programvarestabelen med hemmelighet og nda over alt og gir wordpress som et utviklingssett til oppstart Hvorfor oppfant ikke forvirring dyp forskning? De kunne bare ikke fordi det er trene med RL **Min spådom for de neste årene**: RL vil bli det kraftigste verktøysettet for oppstartsbygging av AI-produkter. Vi vil se hundrevis av suksesshistorier som markør og elskelig. Sluttbrukeren vil ha mest nytte av det Store laboratorier vil utvikle seg mot produktselskap, oai vil fokusere på forbrukermarkedet, Antropic på kodeagent, deepmind vil integrere AI i alle Google-virksomheter, meta og XAI kjemper om sosiale medier Vi vil se fremveksten av et økosystem av oppstart av AI-infrastruktur, salg av databehandling, opplæringsgrunnmodell, kuratering av data, bygging av RL-miljø, tilbud om billig slutning og opplæring, drevet av åpen vitenskap og åpen kildekode-programvare. @PrimeIntellect er banebrytende for dette økosystemet og visjonen om åpen kildekode-agi, er RL-miljøhuben en av de første nøkkelbrikkene

og vi er live! har vært veldig lenge underveis, stor takk til alle som har gjort det mulig underveis. gleder meg til å se hva dere alle bygger her. Vi har bare så vidt begynt :)

Vi presenterer miljøhuben RL-miljøer er den viktigste flaskehalsen for neste bølge av AI-fremgang, men store laboratorier låser dem ned Vi bygde en fellesskapsplattform for crowdsourcing av åpne miljøer, slik at alle kan bidra til AGI med åpen kildekode

Vi støtter nå Slurm (og snart Kubernetes) for våre H100-, H200- og B200-oppsett med flere noder:

Vi støtter nå Slurm (og snart Kubernetes) for våre H100-, H200- og B200-oppsett med flere noder

Kunngjøring av 2nd kohort av Inflection Grants – Compute Edition ☀️ I samarbeid med @PrimeIntellect gir vi 5 unge byggherrer $2,000 i datakreditter for å drive grenseprosjekter – som spenner over AI, helse, bioteknologi og romfart. Møt tilskuddsmottakerne 👇

Slurm-støtte falt nettopp på Prime for våre H100-, H200- og B200-oppsett med flere noder