nysgjerrig på treningsdataene til OpenAIs nye gpt-oss-modeller? Det var jeg også. så jeg genererte 10 millioner eksempler fra gpt-oss-20b, kjørte noen analyser, og resultatene var ... ganske bisarrt På tide med et dypdykk 🧵

Her er et kart over de innebygde generasjonene Modellen elsker matematikk og kode. Jeg spør med ingenting, og likevel resonnerer det alltid. den snakker bare om matematikk og kode, og for det meste på engelsk matematikk – sannsynlighet, ML, PDEer, topologi, diffeq kode – agentisk programvare, konkurransedyktig programmering, datavitenskap

Det første du legger merke til er at praktisk talt ingen av generasjonene ligner naturlig netttekst. Men overraskende nok ser ingen av dem ut som vanlige chatbot-interaksjoner heller denne tingen er tydelig trent via RL til å tenke og løse oppgaver for spesifikke resonnementstandarder. ingenting annet.

og det er virkelig en torturert modell. Her hallusinerer modellen et programmeringsproblem om dominoer og forsøker å løse det, og bruker over 30 000 tokens i prosessen Helt uoppfordret genererte og prøvde modellen å løse dette dominoproblemet over 5,000 separate ganger

kjørte en klassifiserer over utdata for å få en følelse av hvilke programmeringsspråk gpt-oss kjenner De ser ut til å ha trent på nesten alt du noen gang har hørt om. spesielt mye Perl (forresten, fra min analyse burde Java og Kotlin være mye høyere. classifier kan ha gått galt)

det du ikke kan se fra kartet er at mange av kjedene starter på engelsk, men sakte synker ned til nevrale resonneringskjedene veksler gjerne mellom arabisk, russisk, thai, koreansk, kinesisk og ukrainsk. deretter vanligvis tilbake til engelsk (men ikke alltid)

OCR-formodningen: noen eksempler inkluderer artefakter som OCRV ROOT, som indikerer at treningsdataene kan ha blitt leser mellom linjene: OpenAI skanner bøker (av en eller annen grunn elsker modellen å nevne hvor mange døve som bor i Malaysia)

Hva er noen forklaringer på konstant kodebytte? 1. OpenAI har funnet ut RL. Modellene snakker ikke lenger engelsk 2. problemer med datakorrupsjon via OCR eller syntetisk opplæring 3. På en eller annen måte tvang jeg modellen til å sende ut for mange tokens, og de skifter gradvis ut av distribusjonen

Det er et lite antall kreative utganger ispedd hele veien Her er et eksempel der modellen begynner å skrive en skisse til et norsk manus 🤷 ♂️

Jeg lærte også mye av denne. Modellen er *veldig* god til å bruke Unicode ... men kan være dårlig i fysikk. Hva i all verden er en "superhalo-funksjon"

Hvis du vil prøve dataene, er det på HuggingFace: Fortell meg hva du finner!

FREMTIDIG ARBEID – deduplisering Selv om jeg varierte tilfeldig frø og brukt temperatur, er mange av utgangene svært overflødige Det ville være klokt å duplisere, jeg vedder på at det bare er 100k eller færre stort sett unike eksempler her

FREMTIDIG ARBEID – beskriver forskjeller @ZhongRuiqi har et utrolig arbeid med metoder for å beskrive forskjellen mellom to tekstfordelinger *på naturlig språk* vi kan sammenligne utganger på 20b med 120b-modellen, eller LLAMA, eller GPT-5...

FREMTIDIG ARBEID – direkte utvinning vi jobber med å trekke ut treningsdata direkte fra modeller ved hjelp av RL og andre metoder. vi vil presentere vårt første arbeid om dette i COLM, og forventer mer på dette området Vi kan være i stand til å trekke ut data direkte fra 120B-modellen. en dag 😎