Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Robert Nishihara
Współzałożyciel @anyscalecompute. Współtwórca @raydistributed. Wcześniej doktorat z inżynierii mechanicznej na Uniwersytecie Berkeley.
To, co mnie ekscytuje w ogłoszeniu "umiejętności agenta" @AnthropicAI, to krok w kierunku ciągłego uczenia się.
- Zamiast ciągłego aktualizowania wag modelu, agenci wchodzący w interakcje ze światem mogą nieprzerwanie dodawać nowe umiejętności.
- Obliczenia wydane na rozumowanie mogą pełnić podwójną rolę w generowaniu nowych umiejętności (w tej chwili praca włożona w rozumowanie jest w dużej mierze odrzucana po wykonaniu zadania).
Wyobrażam sobie, że ogromne ilości wiedzy i umiejętności będą przechowywane poza wagami modelu. Wydaje się naturalne, aby z czasem destylować część tej wiedzy do wag modelu, ale ta część wydaje mi się mniej fundamentalna.
Jest wiele zalet przechowywania wiedzy poza modelem
- Jest to interpretowalne (po prostu przeglądaj umiejętności)
- Możesz poprawić błędy (umiejętności / wiedza są w formacie tekstowym, więc łatwo je zaktualizować)
- Powinno być bardzo efektywne pod względem danych (w ten sam sposób, w jaki uczenie w kontekście jest efektywne pod względem danych)


Robert Nishihara16 cze 2025
Poza wstępnym szkoleniem, oto jak wyobrażam sobie, że będzie działać większość uczenia się.
1. Modele / systemy AI będą utrzymywać duże zbiory wiedzy, które można odzyskać. Będzie to obejmować fakty takie jak "stolicą Kalifornii jest Sacramento" oraz taktyki takie jak "grając w Monopoly, kupuj wiele nieruchomości na początku" lub "upewnij się, że domyślne argumenty w Pythonie nie są mutowalne". System będzie odzyskiwał odpowiednie fakty / spostrzeżenia / taktyki do wykonywania zadań.
2. AI będzie przetwarzać wszystkie rodzaje danych (książki, bazy kodu, artykuły prasowe, strumieniowe dane sensoryczne). Będzie to miało miejsce zarówno w czasie szkolenia, jak i podczas wdrażania do wykonywania zadań.
3. Gdy system napotka nowe dane, będzie intensywnie rozumować, aby zrozumieć te dane, szczególnie w kontekście istniejącej wiedzy systemu. Jeśli dane są trudne do zrozumienia, np. techniczny artykuł badawczy, ten proces będzie bardzo obciążający obliczeniowo, a wyniki rozumowania zostaną przekształcone w nowy zestaw spostrzeżeń, taktyk i faktów, które będą przechowywane w wiedzy systemu (wraz z odniesieniami do surowych danych, z których wyprowadzono spostrzeżenia). Jeśli nowa wiedza będzie sprzeczna z istniejącymi faktami, nastąpi więcej rozumowania, aby spróbować rozwiązać sprzeczność, a istniejące fakty w zbiorze wiedzy zostaną zaktualizowane (wraz z kontekstem dotyczącym powodu aktualizacji).
To ma kilka ładnych właściwości.
- Sposób na usunięcie lub naprawienie niepoprawnej wiedzy, gdy AI gromadzi nowe informacje.
- Pewna interpretowalność tego, co model wie i jego strategii wykonywania zadań. Również możliwość audytowania / sprawdzania, co model wie.
- Sposób na korzystanie z rozumowania w czasie szkolenia, a nie tylko z rozumowania w czasie wnioskowania, a następnie odrzucania ciężko zdobytych spostrzeżeń.
- Tego rodzaju rozumowanie w czasie szkolenia ma potencjał, aby być znacznie bardziej efektywne pod względem danych, ale znacznie bardziej obciążające obliczeniowo.
Ten proces rozumowania w czasie szkolenia, przechowywania wiedzy i odzyskiwania mógłby być emergentny, biorąc pod uwagę odpowiednią architekturę, ale spodziewam się, że będzie początkowo wbudowany.
89,24K
Najlepsze
Ranking
Ulubione