Větší teorie systémového designu: co je špatného na modernitě a postmoderně, jak přežít nadcházející lavinu a jak vyřešit hlavní problémy, kterým čelíme. Část první: Systémy jsou modely. Ale co je to modelka?

Slibuji, že se to někdy stane praktickým, ale nejprve musíme položit nějaké základy. Pokud se vám základy zdají zřejmé nebo jste ochotni mě vzít za slovo, klidně je přeskočte. Ale nakonec, bez zázemí nemůžete návrhu ani pořádně porozumět.

Aniž by došlo ke ztrátě obecnosti, na jakýkoli systém lze pohlížet jako na graf parametrů spojený hranami, kde senzorické uzly přijímají vstupy, které řídí jak vnitřní změny grafu, tak vytvářejí výstupy v aktivních uzlech.

Model je systém, který se chová tak, aby minimalizoval chybu predikce proti apriorům ztělesněným jeho grafem parametrů.

Systémy jsou vždy modely, protože systémy musí pokračovat v přetrvání, a pokud podniknou akce neslučitelné s podmínkami perzistence, zemřou. Podmínky se mění. Proto se vytrvalé systémy musí učit, což od nich vyžaduje, aby modelovaly realitu a minimalizovaly překvapení.

Příklady modelů: ocel v kovárně, trh, les, buňka, strom, LLM, elektrická síť, korporace, služba sociálních médií. Jinými slovy cokoli, co se v průběhu času přizpůsobuje a předvídá nové vstupy.

Stranou: Tyto věci nejsou jen modely. Lze je vidět i jinými způsoby: služba sociálních médií je také sbírka softwaru, dokonale fixovaného a deterministického, který zpracovává vstupy a výstupy. Člověk je vak s lipidy, který obsahuje převážně vodu, a také člověk, a také model.

Na modely lze pohlížet jako na modely předpovídající distribuci přes možné vstupy. Úspěšný model předpovídá rozdělení, které dobře odpovídá distribuci jeho vstupů. To znamená, že předpovídá přesně, precizně, robustně a efektivně.

(Následuje laické vysvětlení prediktivního zpracování a principu volné energie a aktivní inference, pokud máte pozadí).

Říkáme, že předpovězené rozdělení je přesné, když minimalizuje odchylku od pozorovaného vstupního rozdělení.

Předpovězené rozdělení nazýváme přesným, když má nízký rozptyl, což znamená, že vytváří velmi specifickou předpověď. Užší předpověď při dané přesnosti nepřiblíží váš průměrný odhad průměrnému vstupu, ale přiblíží vás každému odhadu!

Předpovědi jsou odolné vůči šumu, pokud jsou co nejjednodušší. Čím méně parametrů a interakcí parametrů model používá pro predikci, tím více odpovídá neměnnému aspektu vstupu s nízkou frekvencí.

Efektivitu zde většinou přeskočíme, ale hlavní myšlenkou je, že spotřeba energie je v podstatě to samé jako utrácení bitů přesnosti nebo složitosti, jen musíte převést z termo na informační teorii.

Je snadné dosáhnout vysoké přesnosti a opravdu robustně: vždy hádejte stejnou věc. Bohužel, vaše přesnost bude na hovno. V důsledku toho je obecně považujeme za chybu váženou přesností.

Ukázalo se, že královská cesta k nízkým ztrátám váženým přesností je hořkým ponaučením: vyzkoušeli jste více parametrů a více dat? Nakonec se můžete přefit na všechny lidské znalosti (LLM) a to je docela dobré. Bohužel, pokud se doména změní... není robustní.

Všechny tři vyžadují rovnováhu. Naštěstí je můžete všechny bodovat po částech. Chyba vážená přesností = -log (odchylka od vstupů, vážená přesností) Robustnost neboli složitost = -log (divergence modelových apriorů od uniformních nebo přirozených priorů)

U jakékoli akce nebo změny modelu můžete ohodnotit, jak moc to pomáhá, a to tak, že sečtete celkový přínos z hlediska přesnosti, preciznosti a robustnosti. Stojí za to přidat tento parametr? Dobře, zaplatí těch 20 bitů přesnosti navíc za 8 bitů složitosti ve vašich apriorech?

Když uvažujeme o skutečném systému, nominálním cílem je obvykle nějaký druh přesnosti. Pro ekonomiku je vysoký růst HDP a nízká nezaměstnanost "předběžným očekáváním", které se systém snaží naplnit. Pro společnost je to obvykle předchozí očekávání vysokých výnosů a nízkých nákladů.

Již brzy, část 2: co se děje s našimi systémy? Jak jsme se sem dostali? Proč se všechno zbláznilo a rozbilo, ale také je to všechno v pořádku?