Här är veckans Ritual Research Digest, ett nyhetsbrev som täcker det senaste i LLM-världen och skärningspunkten mellan Crypto x AI. Med hundratals artiklar som publiceras varje vecka är det omöjligt att hålla sig uppdaterad med det senaste. Vi gör avläsningen så att du inte behöver göra det.

Tokens med låg sannolikhet upprätthåller utforskning i förstärkningsinlärning med verifierbar belöning I den här artikeln finner vi att flaskhalsen i resonemangsmodeller kan bero på eliminering av undersökande tokens med låg sannolikhet (de kallar dem Reasoning Sparks).

De introducerar Lp-Reg för att bevara värdefulla tokens med låg sannolikhet via regularisering. Lp-Reg kasserar först bullriga tokens med låg sannolikhet och omfördelar sedan sannolikhetsmassan bland de återstående kandidaterna. På 5 matematiska riktmärken på Qwen3-14B förbättras de med 2.66%.

Om temperatursamplingens roll i testtidsskalning Den senaste skalningen av testtidsskalning (TTS) har ökat Pass@k till 1024, men har vi nått taket för TTS-prestanda? Artiklarna visar, genom temperaturprovtagning, att vi kan skala upp TTS ytterligare.

Artiklarna visar att temperatur kan vara en ny dimension för skalning vid testtid. Genom experiment över Qwen3 (0,6B, 1,7B, 4B, 8B) och fem riktmärken ger temperaturskalning 7,3 poäng över entemperatur-TTS. De designar också en effektiv metod för T-skalning.

DiffuSpec: Låsa upp diffusionsspråkmodeller för spekulativ avkodning Diffusionsmodeller som utkastare för spekulativ avkodning passar bra på grund av högre genomströmning av tokenförslag per steg och starkare förslagskvalitet.

Diffusionsmodeller lider dock av problem relaterade till kausal anpassning och draglängd. För att ta itu med dessa problem presenteras DiffuSpec, en träningsfri metod. För olika uppgifter ger den upp till 3 × snabbare väggklocka, vilket överträffar andra träningsfria baslinjer.

Genom att generera syntetisk data med varierande grad av läsbarhetssvårighet finner de att läsbarhet inte är nyckeln till koherens i små språkmodeller. Deras resultat tyder på att statistisk enkelhet är en starkare prediktor för inlärningsförmåga vid SLM.

Följ oss @ritualdigest för mer information om allt som rör forskning om krypto x AI, och @ritualnet för att lära dig mer om vad Ritual bygger.