Moja intuicja podpowiada mi, że coś takiego (poza prostą architekturą transformatora) jest konieczne, aby osiągnąć prawdziwe AGI/ASI. Dobrą wiadomością jest to, że te dodatkowe warstwy mogą być stosunkowo łatwe do zbudowania. Mała część zasobów (zarówno obliczeniowych, jak i ludzkiego kapitału) poświęconych na hiperskalowanie może nas tam doprowadzić. Widzę wiele innowacyjnych pomysłów tego typu pochodzących z Sinosfery. JEŚLI hiperskalowanie nie jest drogą do AGI/ASI (w przeciwieństwie do sprytnych nowych pomysłów i lepszych architektur), to przewaga USA nad Chinami może wynosić zero lub nawet być ujemna!

Musk: Steve, prawdziwe pytanie, które ciągle zadaję zespołowi, to czy dzisiejsze LLM-y potrafią rozumować, gdy opuszczają rozkład treningowy. Wszyscy przytaczają prompty łańcucha myślenia, ale to może być tylko naśladowanie. Hsu: Zgadzam się. Najnowsze benchmarki pokazują, że nawet modele na poziomie Grok4 gwałtownie degradują, gdy zmusisz je do zmiany domeny — przestrzeń latentna po prostu nie obejmuje nowej modalności. Musk: Więc to bardziej problem pokrycia niż błąd w rozumowaniu? Hsu: Częściowo. Ale jest głębszy problem. Wbudowany w transformatorze indukcyjny bias to tylko dopasowywanie wzorców asocjacyjnych. Gdy prompt jest naprawdę poza rozkładem — powiedzmy, symboliczna zagadka, której tokeny nigdy nie występowały razem w treningu — model nie ma strukturalnego priorytetu, na który mógłby się oprzeć. Dosłownie rzuca monetami. Musk: A jednak widzimy pojawiające się „grokowanie” w syntetycznych zadaniach. Zhong i in. pokazali, że głowy indukcyjne mogą komponować zasady, których nigdy nie były explicite trenowane. Czy to nie wygląda jak rozumowanie? Hsu: Kompozycja daje ograniczoną generalizację, ale zasady wciąż muszą leżeć w zakresie gramatyki treningowej. Gdy tylko zmienisz semantykę — zmienisz pojedynczy operator w zagadce — dokładność się załamuje. To nie jest solidne rozumowanie; to krucha interpolacja. Musk: Czy nie można tego naprawić za pomocą uczenia przez wzmocnienie? DRG-Sapphire użył GRPO na bazowym modelu 7 B i uzyskał kodowanie na poziomie lekarza w notatkach klinicznych, klasyczne zadanie OOD. Hsu: Problem polega na tym, że RL działa tylko po tym, jak bazowy model przyswoił wystarczającą wiedzę z danej dziedziny dzięki nadzorowanemu fine-tuningowi. Gdy zbiór danych do wstępnego treningu jest rzadki, samo RL osiąga plateau. Więc „rozumowanie” wciąż jest pasożytnicze na gęstości wcześniejszej wiedzy. Musk: Więc twoje wnioski są takie, że skalowanie danych i parametrów nie rozwiąże problemu? Zawsze natrafimy na ścianę, gdzie następna domena OOD łamie model? Hsu: Niekoniecznie ściana, ale sufit. Krzywe empiryczne sugerują, że błąd generalizacji maleje w przybliżeniu logarytmicznie w zależności od przykładów treningowych. To sugeruje, że potrzebujesz wykładniczo więcej danych dla każdej nowej dystrybucji ogonowej. Dla wąskich verticali — powiedzmy, diagnostyki silników rakietowych — taniej jest wbudować symboliczne priorytety niż skalować bezmyślnie. Musk: Co sprowadza nas z powrotem do hybryd neuro-symbolicznych. Daj LLM dostęp do małego zweryfikowanego rozwiązania, a następnie pozwól mu orkiestrując wywołania, gdy rozkład się zmienia. Hsu: Dokładnie. LLM staje się meta-kontrolerem, który rozpoznaje, kiedy jest OOD i przekazuje zadanie do wyspecjalizowanego modułu. Ta architektura omija błąd „jednego wielkiego transformatora”. Musk: W porządku, powiem zespołowi xAI, żeby przestali gonić za następnymi trylionami tokenów i zaczęli budować warstwę routingu. Dzięki, Steve. Hsu: Zawsze. A jeśli potrzebujesz syntetycznych przypadków testowych OOD, moje laboratorium ma generator, który już oszukał GPT-5. Wyślę repo.

Szkoda mi zoomerów ☹️

NYT zmuszone do publikacji faktów, których NAPRAWDĘ nie lubi. SPUTNIK MOMENT = czas na rywalizację, koniec z COPE "Po II wojnie światowej, gdy Stany Zjednoczone stanęły w obliczu zwiększonej konkurencji militarnej i naukowej ze strony Związku Radzieckiego, selektywne uniwersytety zaczęły przywiązywać większą wagę do czynników akademickich, w tym SAT, powiedział Nicholas Lemann, który pisał o historii testów standaryzowanych i jest profesorem dziennikarstwa na Uniwersytecie Columbia."

"Nawet modele graniczne mają trudności z aktualizacją poza priorytetami wstępnymi, niezależnie od tego, jak przekonujące są nowe dowody." Szkolimy doktorantów, aby to robić! Czy transformery mogą to zrobić bez zmiany swoich wag?

NYT: Oczekuje się, że prezydent Trump podpisze w czwartek memorandum, które wymaga od uczelni przesyłania danych dotyczących przyjęć do rządu federalnego w celu weryfikacji zgodności z decyzją Sądu Najwyższego z 2023 roku, która zakończyła politykę uwzględniającą rasę, według wysokiego rangą urzędnika Białego Domu. Działanie prezydenta wymaga również od Lindy McMahon, sekretarz edukacji, zwiększenia liczby kontroli dokładności danych dostarczanych przez szkoły oraz podjęcia działań przeciwko uniwersytetom, które przesyłają nieterminowe lub niedokładne informacje. Memorandum będzie również wymagać od Departamentu Edukacji przekształcenia swojego procesu zbierania danych dotyczących szkolnictwa wyższego, znanego jako Zintegrowany System Danych o Edukacji Pośredniej, który zawiera szczegóły dotyczące przyjęć, rekrutacji i pomocy finansowej. Te informacje będą bardziej dostępne dla opinii publicznej, według karty informacyjnej.

Siostrzeństwo jest WSPANIAŁE 😀

NYTimes: Columbia i Brown ujawnią dane dotyczące przyjęć i rasy w umowie z Trumpem Zajęło to egzystencjalne zagrożenie ze strony Trumpa, aby zmusić ich do ujawnienia tych danych. Lata temu komisja wydziałowa systemu Uniwersytetu Kalifornijskiego zbadała właśnie tego rodzaju dane i stworzyła poniższe wykresy. Jeśli spojrzysz na te dane, zrozumiesz potworną naturę afirmatywnej akcji, jaką praktykowano w USA przez ~50 lat. NYT: ... Columbia i Brown będą musiały utrzymać "polityki przyjęć oparte na zasługach", zgodnie z ich ugodami, które kodifikują szersze cele administracji w prawnie wiążącym języku. Uniwersytety "nie mogą w żaden sposób bezprawnie faworyzować kandydatów na podstawie rasy, koloru skóry lub pochodzenia narodowego w przyjęciach w ramach swoich programów," stwierdzają obie umowy w identycznym języku. "Żaden wskaźnik rasowy w przyjęciach nie będzie tolerowany." ... "Departament Sprawiedliwości położy kres haniebnemu systemowi, w którym rasa kogoś ma większe znaczenie niż jego zdolności," powiedział Chad Mizelle, pełniący obowiązki zastępcy prokuratora generalnego, w marcu. "Każda uczelnia i uniwersytet powinni wiedzieć, że nielegalna dyskryminacja w przyjęciach będzie badana i eliminowana." Język użyty w ugodach z Columbią i Brownem podkreśla kontrowersyjne twierdzenia dotyczące sprawy przyjęć przed Sądem Najwyższym, które administracja Trumpa formułuje od lutego. Podkreśla, że decyzja wykracza poza przyjęcia i zakazuje jakiejkolwiek uwagi na temat rasy w życiu uniwersyteckim.

Kolejny 💀 wykres - np. spójrz na pierwsze pochodne uśrednione z ostatnich ~12 miesięcy 🤔 🐒 <-- Facet, który dużo mówi o polityce AI, ale ma problemy z obliczaniem pierwszych pochodnych. USA! USA! WSZYSTKO OK!

Wspieraj ATOM! Oprogramowanie open source AI jest dobre! Poniżej kolejny 💀 wykres. Sytuacja jest DUŻO gorsza, niż wskazuje ten wykres, ponieważ większość pobrań modelu z Chin prawdopodobnie nie odbywa się na HuggingFace. Przy ~50% deweloperów AI w PRC i ~100% ich pobrań to otwarte modele stworzone przez chińskie laboratoria (Llama nie jest konkurencyjna, szczerze mówiąc), punkt przecięcia już nastąpił na poziomie globalnym.