Większa teoria projektowania systemów: co jest nie tak z nowoczesnością i postmodernizmem, jak przetrwać nadchodzącą lawinę i jak naprawić główne problemy, z którymi się borykamy. Część pierwsza: Systemy są modelami. Ale czym jest model?

Obiecuję, że w pewnym momencie to stanie się praktyczne, ale najpierw musimy położyć pewne fundamenty. Jeśli uważasz, że fundamenty są oczywiste lub jesteś gotów po prostu uwierzyć mi na słowo, możesz je pominąć. Ale ostatecznie, bez tła nie możesz nawet naprawdę zrozumieć propozycji.

Bez utraty ogólności, każdy system można postrzegać jako graf parametrów połączony krawędziami, gdzie węzły sensoryczne otrzymują dane wejściowe, które napędzają zarówno wewnętrzne zmiany w grafie, jak i generują wyjścia w aktywnych węzłach.

Model to system, który działa w celu minimalizacji błędu prognozy w odniesieniu do priorytetów zawartych w jego grafie parametrów.

Systemy są zawsze modelami, ponieważ muszą nadal istnieć, a jeśli podejmują działania niezgodne z warunkami przetrwania, umierają. Warunki się zmieniają. Dlatego trwałe systemy muszą się uczyć, co wymaga od nich modelowania rzeczywistości i minimalizowania zaskoczenia.

Przykłady modeli: stal w kuźni, rynek, las, komórka, drzewo, LLM, sieć elektryczna, korporacja, usługa mediów społecznościowych. Innymi słowy, wszystko, co dostosowuje się w czasie, aby przewidywać nowe dane wejściowe.

Na marginesie: Te rzeczy nie są tylko modelami. Można je również postrzegać w inny sposób: usługa mediów społecznościowych to także zbiór oprogramowania, doskonale ustalonego i deterministycznego, przetwarzającego dane wejściowe i wyjściowe. Człowiek to worek lipidowy w większości wody, a także osoba, a także model.

Modele można postrzegać jako przewidujące rozkład możliwych wejść. Udany model przewiduje rozkład, który dobrze pasuje do rozkładu jego wejść. Oznacza to, że przewiduje dokładnie, precyzyjnie, solidnie i efektywnie.

(Co następuje, to proste wyjaśnienie przetwarzania predykcyjnego oraz zasady swobodnej energii i aktywnego wnioskowania, na wypadek gdybyś miał odpowiednie tło).

Mówimy, że przewidywana dystrybucja jest dokładna, gdy minimalizuje rozbieżność od zaobserwowanej dystrybucji wejściowej.

Nazywamy przewidywaną dystrybucję precyzyjną, gdy ma niską wariancję, co oznacza, że dokonuje bardzo konkretnego przewidywania. Węższa prognoza przy danej dokładności nie przybliża twojego średniego zgadnięcia do średniego wejścia, ale zbliża cię do celu z każdym zgadnięciem!

Prognozy są odporne na szum, jeśli są jak najprostsze. Im mniej parametrów i interakcji parametrów model wykorzystuje do prognozy, tym lepiej pasuje do niskoczęstotliwościowego, niezmiennego aspektu wejścia.

Głównie pominiemy tutaj efektywność, ale głównym pomysłem jest to, że zużycie energii jest zasadniczo takie samo jak wydawanie bitów, dokładność lub złożoność, musisz tylko przetłumaczyć z termodynamiki na teorię informacji.

Łatwo jest uzyskać wysoką precyzję w naprawdę solidny sposób: zawsze zgaduj to samo. Niestety, twoja dokładność będzie kiepska. W rezultacie zazwyczaj rozważamy je razem, jako błąd ważony precyzją.

Odkryto, że Królewska Droga do niskiej straty ważonej precyzją to gorzka lekcja: czy próbowałeś więcej parametrów i więcej danych? Ostatecznie możesz przeuczyć się na całej ludzkiej wiedzy (LLM) i to jest całkiem dobre. Niestety, jeśli domena się zmienia… nie jest to odporne.

Wszystkie trzy wymagają równowagi. Na szczęście możesz zdobyć je wszystkie w bitach. Błąd ważony precyzją = -log(odchylenie od wejść, ważone precyzjami) Odporność, czyli złożoność = -log(odchylenie priorytetów modelu od priorytetu jednostajnego lub naturalnego)

Dla każdej akcji lub zmiany w swoim modelu możesz ocenić, jak bardzo to pomaga, sumując całkowite korzyści w kategoriach dokładności, precyzji i odporności. Czy warto dodać ten parametr? Cóż, czy dodatkowe 20 bitów dokładności rekompensuje 8 bitów złożoności w twoich priors?

Rozważając rzeczywisty system, nominalnym celem jest zazwyczaj jakiś rodzaj dokładności. Dla gospodarki wysokie tempo wzrostu PKB i niskie bezrobocie to "wcześniejsze oczekiwanie", które system stara się spełnić. Dla korporacji zazwyczaj wcześniejsze oczekiwanie to wysokie przychody i niskie koszty.

Już wkrótce, część 2: co się dzieje z naszymi systemami? Jak do tego doszło? Dlaczego wszystko szaleje i jest zepsute, ale jednocześnie wszystko rośnie w górę i w prawo?