Opět nerozumíte exponenciále? Můj rozhovor s @Mononofu - Julianem Schrittwieserem (@AnthropicAI, AlphaGo Zero, MuZero) - o tahu 37, škálování RL, Nobelově ceně za umělou inteligenci a o hranicích umělé inteligence: 00:00 - Studené otevření: "Nevidíme žádné zpomalení." 00:32 – Úvod – Seznamte se s Julianem 01:09 – "Exponenciální" z pohraničních laboratoří 04:46 - 2026–2027: agenti, kteří pracují celý den; Šířka na expertní úrovni 08:58 - Benchmarky vs realita: práce v dlouhodobém horizontu, HDP-Val, uživatelská hodnota 10:26 - Tah 37 - co se vlastně stalo a proč na tom záleželo 13:55 - Nová věda: AlphaCode/AlphaTensor → kdy AI získá Nobelovu cenu? 16:25 - Diskontinuita vs hladký průběh (a varovné signály) 19:08 - Dostane nás tam předtrénink + RL? (Debaty o AGI stranou) 20:55 - Suttonovo "RL od nuly"? Julianův názor 23:03 - Julianova cesta: Google → DeepMind → Antropické 26:45 – AlphaGo (učit se + hledat) v jednoduché angličtině 30:16 – AlphaGo Zero (žádná lidská data) 31:00 - AlphaZero (jeden algoritmus: Go, šachy, shogi) 31:46 – MuZero (plánování s naučeným modelem světa) 33:23 -Lekce pro dnešní agenty: vyhledávání + učení ve velkém měřítku 34:57 – Mají již LLM implicitní modely světa? 39:02 – Proč RL na LLM trvalo čas (stabilita, zpětnovazební smyčky) 41:43 - Compute & scaling for RL — co zatím vidíme 42:35 – Hranice odměn: lidské předvolby, rubriky, RLVR, zpracování odměn 44:36 - RL tréninková data a "setrvačník" (a proč záleží na kvalitě) 48:02 - RL & Agents 101 - proč RL odemyká robustnost 50:51 – Měli by tvůrci používat RL-as-a-service? Nebo jen nástroje + výzvy? 52:18 – Co chybí pro spolehlivé agenty (schopnosti vs. inženýrství) 53:51 - Evals & Goodhart — interní vs externí benchmarky 57:35 - Mechanistická interpretovatelnost & "Golden Gate Claude" 1:00:03 - Bezpečnost a zarovnání v Anthropicu - jak se to projevuje v praxi 1:03:48 – Úlohy: komplementarita člověk–umělá inteligence (komparativní výhoda) 1:06:33 - Nerovnost, politika a argumenty pro 10× produktivitu → hojnost 1:09:24 – Závěrečné komentáře

Včera jsme spustili ChatGPT Atlas, náš nový webový prohlížeč. V Atlasu může agent ChatGPT udělat věci za vás. S nadšením sledujeme, jak tato funkce lidem zefektivňuje a zefektivňuje práci a každodenní život. Agent ChatGPT je výkonný a užitečný a navržený tak, aby byl bezpečný, ale stále se může dopustit (někdy překvapivých!) chyb, jako je pokus o nákup nesprávného produktu nebo zapomenutí se s vámi přihlásit před provedením důležité akce. Jedním z nových rizik, které velmi promyšleně zkoumáme a zmírňujeme, jsou rychlé injekce, kdy útočníci skrývají škodlivé pokyny na webových stránkách, v e-mailech nebo jiných zdrojích, aby se pokusili přimět agenta k nezamýšlenému chování. Cíl útočníků může být tak jednoduchý, jako je snaha ovlivnit názor agenta při nakupování, nebo tak závažný, jako je snaha přimět agenta, aby načetl a unikl soukromá data, jako jsou citlivé informace z vašeho e-mailu nebo přihlašovací údaje. Naším dlouhodobým cílem je, abyste agentovi ChatGPT mohli důvěřovat při používání vašeho prohlížeče, stejně jako byste důvěřovali svému nejkompetentnějšímu, nejdůvěryhodnějšímu a nejbezpečnějšímu kolegovi nebo příteli, který dbá na bezpečnost. Usilovně pracujeme na tom, abychom toho dosáhli. V rámci tohoto spuštění jsme provedli rozsáhlý red-teaming, implementovali jsme nové techniky trénování modelu, abychom model odměnili za ignorování škodlivých instrukcí, implementovali jsme překrývající se mantinely a bezpečnostní opatření a přidali nové systémy pro detekci a blokování takových útoků. Prompt injection však zůstává hraničním, nevyřešeným bezpečnostním problémem a naši protivníci vynaloží značné množství času a zdrojů, aby našli způsoby, jak přimět agenta ChatGPT, aby těmto útokům naletěl. Abychom chránili naše uživatele a pomohli vylepšit naše modely proti těmto útokům: 1. Upřednostnili jsme systémy rychlé reakce, které nám pomáhají rychle identifikovat blokové útočné kampaně, jakmile se o nich dozvíme. 2. Pokračujeme také ve velkých investicích do zabezpečení, ochrany osobních údajů a bezpečnosti – včetně výzkumu zaměřeného na zlepšení robustnosti našich modelů, bezpečnostních monitorů, kontrol zabezpečení infrastruktury a dalších technik, které pomáhají předcházet těmto útokům prostřednictvím hloubkové obrany. 3. Atlas jsme navrhli tak, abychom vám poskytli ovládací prvky, které vám pomohou se chránit. Přidali jsme funkci, která umožňuje agentovi ChatGPT provádět akce vaším jménem, ale bez přístupu k vašim přihlašovacím údajům, nazvanou "režim odhlášení". Tento režim doporučujeme v případě, že v rámci svých účtů nepotřebujete provádět žádné akce. Dnes si myslíme, že "režim přihlášení" je nejvhodnější pro akce s dobrým rozsahem na velmi důvěryhodných webech, kde je riziko rychlého injektáže nižší. Požádat ho o přidání ingrediencí do nákupního košíku je obecně bezpečnější než obecný nebo vágní požadavek typu "zkontrolujte mé e-maily a podnikněte jakékoli potřebné kroky". 4. Pokud agent pracuje na citlivých webech, implementovali jsme také "režim sledování", který vás upozorní na citlivou povahu webu a vyžaduje, abyste měli aktivní kartu, abyste mohli sledovat, jak agent pracuje. Agent se pozastaví, pokud se vzdálíte od karty s citlivými informacemi. Díky tomu budete mít přehled o tom, jaké akce agent provádí, a budete mít nad nimi kontrolu. Postupem času plánujeme přidat další funkce, mantinely a bezpečnostní ovládací prvky, které agentovi ChatGPT umožní bezpečně a bezpečně pracovat v individuálních i podnikových pracovních postupech. Nové úrovně inteligence a schopností vyžadují, aby se technologie, společnost a strategie zmírňování rizik vyvíjely společně. A stejně jako v případě počítačových virů na počátku roku 2000 si myslíme, že je důležité, aby každý rozuměl zodpovědnému používání, včetně přemýšlení o rychlých injekčních útocích, abychom se všichni mohli naučit bezpečně využívat výhod této technologie. Jsme nadšeni, že vidíme, jak agent ChatGPT posílí vaše pracovní postupy v Atlasu, a jsme odhodláni budovat nejbezpečnější, soukromé a bezpečné technologie umělé inteligence ve prospěch celého lidstva.