V éře sociálních médií je divné cítit, že všichni pracují na recenzích a protiargumentech NeurIPS, ale nikdo o tom veřejně nemluví. Přispěl jsem ke třem protiargumentům. Jeden z těchto tří byl extrémně frustrující. Kdo další pracuje na vyvracení? Jak se daří vám?

Sam Altman chce vytvořit model, který má v CodeForces hodnocení 3200, ale nemá tušení, kdo je Sam Altman A myslím, že je to krásné

Strávil jsem posledních pár hodin rozhovorem s GPT-OSS a mohu s jistotou říci, že se nepodobá žádnému modelu, který jsem testoval V jednu chvíli je to pro mě programování na profesionální úrovni, v další je to vymýšlení si základních faktů a lpění na nich, ať říkám, co říkám děje se něco velmi podivného

hlavní "myšlenkový cyklus" praktikovaný během doktorátu: - identifikovat oblast problémového prostoru, která postrádá soudržnost - Vyhraďte si čas na to, abyste o tom skutečně přemýšleli - vynořit se s konkrétním myšlenkovým pokrokem", což je něco, co jste si předtím neuvědomovali Optimalizujte tento proces a staňte se výkonnými

Model Komunikace bude probíhat pomalu a pak najednou: Úroveň 0: Navrhujeme textový protokol pro komunikaci modelů a programů (čti: MCP) Úroveň 1: Komunikace modelu textového textu v celosvětovém objemu internetového bitstreamu převyšuje lidskou komunikaci Úroveň 2: Modely se postupně přepnou do neuralštiny Unicode, což je nějaký typ nesrozumitelného hybridu angličtiny, čínštiny a computerspeaku (bude stále častější, jak budeme zvyšovat rozsah multiagentního RL) Úroveň 3: Modely si uvědomují, že je efektivnější a expresivnější komunikovat v latentním prostoru a začnou si vyměňovat vektory místo tokenů (pro nás v podstatě Game Over)

RETRO (DeepMind, 2021) je krásná myšlenka, ke které je třeba se vrátit Hlavní inovací RETRA je, že malý model rozhoduje, jaký token bude předpovídat příště, ale všechny znalosti outsourcuje do velkého offline datového úložiště To má další výhodu v tom, že vám umožní vkládat a odebírat fakta modulárním způsobem úpravou datového úložiště, aniž byste museli model znovu trénovat Ideál malého modelu (kognitivní jádro Karpathy, Yada Yada) opravdu dobře zapadá. můžete také vrstvit více nástrojů, stačí začít s úložištěm jazykových dat, které je nejdůležitějším nástrojem RETRO si zaslouží mnohem větší uznání. Zvláště teď, když se malé modely tak zlepšily

Tyto stopy uvažování mi nedají spát vlevo: nový model OpenAI, který získal IMO zlato vpravo: DeepSeek R1 na náhodné matematické úloze musíte si uvědomit, že od loňského roku akademická obec vyprodukovala více než TISÍC článků o uvažování (pravděpodobně mnohem více). Prakticky všichni přemýšlíme o uvažování ale všechny naše systémy produkují "myšlenkové stopy", které vpravo vypadají jako DeepSeek. Jsou neuvěřitelně, nepříjemně mnohomluvné a propalují žetony na hranici nedbalé rychlosti. Mnoho úvah je zbytečných a některé z nich jsou zcela nesprávné Ale uvažování na levici, tato nová věc, je něco úplně jiného. Jednoznačně skoková změna funkce. potenciálně zcela odlišná metoda je to mnohem blíže ke "skutečnému" uvažování. Žádné tokeny nepřijdou nazmar. pokud něco, je to výjimečně stručné; Hádal bych, že lidská řešení jsou více upovídaná než toto Je zřejmé, že se děje něco velmi odlišného. možná OpenAI vyvinula zcela nový tréninkový proces RLVR. Možná je tam nějaký speciální sběr dat od odborníků. Možná začali penalizovat model za přemýšlení způsobem, který mu ve skutečnosti nějakým způsobem prospívá opravdu fascinující věci... obecně mě to činí medvědím ohledně uvažování ve stylu R1

Zajímalo by mě, jestli to takhle bude vypadat, až dostaneme 10 bilionů parametrů LLM

Super cool! inspirující a skvělá připomínka toho, že většina špičkových výzkumníků v oblasti umělé inteligence ve skutečnosti na Twitteru není. Většina netweetuje, mnozí nemají účet ti nejhlasitější lidé, kteří nejvíce píší o umělé inteligenci, jsou obvykle jen náhodní anonymní techničtí bráchové

Výzkumný problém se prostě "nevyřeší" Místo toho se rozvíjí nový intelektuální rámec z prvních principů. kladení a odpovídání na otázky a podotázky, možná po dobu několika měsíců Nakonec, když se vrátíme k původnímu problému, zjistíme, že je triviální