Populære emner
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Robert Nishihara
Medgründer @anyscalecompute. Medskaper av @raydistributed. Tidligere PhD ML ved Berkeley.
Det som er spennende *for meg* med @AnthropicAI "agentferdigheter"-kunngjøringen er at den gir et skritt mot kontinuerlig læring.
- I stedet for å kontinuerlig oppdatere modellvekter, kan agenter som samhandler med verden kontinuerlig legge til nye ferdigheter.
- Databehandling brukt på resonnement kan tjene et dobbelt formål med å generere nye ferdigheter (akkurat nå blir arbeidet som går med resonnement i stor grad forkastet etter at en oppgave er utført).
Jeg ser for meg at enorme mengder kunnskap og ferdigheter vil bli lagret utenfor en modells vekter. Det virker naturlig å destillere noe av den kunnskapen til modellvekter over tid, men den delen virker mindre grunnleggende for meg.
Det er mange fine ting med å lagre kunnskap utenfor modellen
- Det er tolkbart (bare les gjennom ferdighetene)
- Du kan rette feil (ferdighetene/kunnskapene er i klartekst, så de er enkle å oppdatere)
- Bør være svært dataeffektiv (på samme måte som kontekstlæring er dataeffektiv)


Robert Nishihara16. juni 2025
Utover fortrening, her er hvordan jeg ser for meg at det meste av læring vil fungere.
1. AI-modeller/systemer vil opprettholde store samlinger av gjenfinnbar kunnskap. Dette vil inkludere fakta som "hovedstaden i California er Sacramento" og taktikker som "når du spiller Monopol, kjøp en haug med eiendommer tidlig" eller "sørg for at standardargumenter i Python ikke er foranderlige". Systemet vil hente relevante fakta/innsikter/taktikker for å utføre oppgaver.
2. AI vil ta inn alle typer data (bøker, kodebaser, nyhetsartikler, streaming av sensoriske input). Dette vil skje på treningstidspunktet så vel som mens du er utplassert for å utføre oppgaver.
3. Når systemet møter nye data, vil det resonnere sterkt for å forstå dataene, spesielt for å forstå dataene i sammenheng med systemets eksisterende kunnskap. Hvis dataene er vanskelige å forstå, for eksempel en teknisk forskningsartikkel, vil denne prosessen være svært beregningsintensiv, og resultatet av resonnementet vil bli destillert til et nytt sett med innsikt, taktikker og fakta som er lagret i systemets kunnskap (sammen med referanser til rådataene som innsikten ble avledet fra). Hvis den nye kunnskapen motsier eksisterende innhentede fakta, vil det oppstå flere resonnementer for å forsøke å løse motsigelsen, og eksisterende fakta i kunnskapssamlingen vil bli oppdatert (sammen med kontekst om årsaken til oppdateringen).
Dette har noen fine egenskaper.
- En måte å fjerne eller fikse feil kunnskap etter hvert som AI samler inn ny informasjon.
- Noe tolkningsbarhet om hva modellen vet og dens strategier for å utføre oppgaver. Også muligheten til å revidere / sjekke hva modellen vet.
- En måte å dra nytte av å trene tidsresonnement i motsetning til bare å resonnere på slutningstidspunktet og deretter forkaste hardt opptjent innsikt.
- Denne typen resonnement om treningstid har potensial til å være mye mer dataeffektivt, men langt mer dataintensivt.
Denne prosessen med å trene tidsresonnement, kunnskapslagring og gjenfinning kan være fremvoksende gitt riktig arkitektur, men jeg forventer at den blir bakt inn i utgangspunktet.
205,45K
Topp
Rangering
Favoritter