En større teori om systemdesign: hva som er galt med modernitet og postmodernitet, hvordan overleve det kommende skredet, og hvordan fikse de store problemene vi står overfor. Del én: Systemer er modeller. Men hva er en modell?

Jeg lover at dette blir praktisk på et tidspunkt, men først må vi legge litt grunnarbeid. Hvis du synes grunnlaget er åpenbart eller du er villig til å bare ta mitt ord for det, kan du gjerne hoppe over det. Men til syvende og sist, uten bakgrunnen kan du ikke engang forstå forslaget.

Uten tap av generalitet kan ethvert system sees på som en parametergraf forbundet med kanter, der sensoriske noder mottar innganger som driver både interne grafendringer og produserer utganger ved aktive noder.

En modell er et system som fungerer for å minimere prediksjonsfeil mot priorene som er legemliggjort av parametergrafen.

Systemer er alltid modeller fordi systemer må fortsette å vedvare, og hvis de utfører handlinger som er uforenlige med forhold for utholdenhet, dør de. Forholdene endrer seg. Derfor må vedvarende systemer lære, noe som krever at de modellerer virkeligheten og minimerer overraskelser.

Eksempler på modeller: stål i en smies smie, markedet, en skog, en celle, et tre, en LLM, det elektriske nettet, et selskap, en sosial medietjeneste. Med andre ord, alt som tilpasser seg over tid for å forutse nye input.

Til side: Disse tingene er ikke bare modeller. De kan også sees på andre måter: en sosial medietjeneste er også en samling programvare, perfekt fast og deterministisk, som behandler innganger og utganger. Et menneske er en lipidpose med for det meste vann, og også en person, og også en modell.

Modeller kan sees på som å forutsi en fordeling over mulige innganger. En vellykket modell forutsier en fordeling som samsvarer godt med fordelingen av inngangene. Det betyr at den forutsier nøyaktig, presist, robust og effektivt.

(Det som følger er en lekmannsforklaring av prediktiv prosessering og frienergiprinsippet og aktiv slutning, i tilfelle du har bakgrunnen).

Vi sier at den forutsagte fordelingen er nøyaktig når den minimerer divergensen fra den observerte inngangsfordelingen.

Vi kaller den predikerte fordelingen presis når den har lav varians, noe som betyr at den gir en veldig spesifikk prediksjon. En smalere prognose med en gitt nøyaktighet får ikke din gjennomsnittlige gjetning nærmere gjennomsnittsinngangen, men den bringer deg nærmere hver gjetning!

Spådommer er robuste mot støy hvis de er så enkle som mulig. Jo færre parametere og parameterinteraksjoner en modell bruker for en prediksjon, jo mer passer den til det lavfrekvente uforanderlige aspektet av inndataene.

Vi vil stort sett hoppe over effektivitet her, men hovedideen er at energiforbruk i utgangspunktet er det samme som å bruke biter nøyaktighet eller kompleksitet, du må bare oversette fra termo til informasjonsteori.

Det er lett å ha høy presisjon veldig robust: gjett alltid det samme. Dessverre vil nøyaktigheten din være dritt. Som et resultat betrakter vi dem generelt sammen, som presisjonsvektet feil.

Den kongelige veien til lavt presisjonsvektet tap har blitt oppdaget å være den bitre lærdommen: har du prøvd flere parametere og mer data? Til slutt kan du overpasse på all menneskelig kunnskap (LLM), og det er ganske bra. Dessverre, hvis domenet endres... ikke robust.

Alle tre krever balanse. Heldigvis kan du score dem alle i biter. Presisjonsvektet feil = -log(avvik fra innganger, vektet etter presisjoner) Robusthet aka Kompleksitet = -log (divergens av modellpriorer fra ensartet eller naturlig prior)

For enhver handling eller endring i modellen din kan du vurdere hvor mye det hjelper ved å oppsummere den totale fordelen når det gjelder nøyaktighet, presisjon og robusthet. Er det verdt å legge til den parameteren? Vel, betaler de ekstra 20 bitene med nøyaktighet for de 8 bitene med kompleksitet i dine priorer?

Når man vurderer et reelt system, er det nominelle målet vanligvis en slags nøyaktighet. For økonomien er høy bnp-vekst og lav arbeidsledighet den «forhåndsforventningen» systemet prøver å oppfylle. For et selskap, vanligvis en forhåndsforventning om høye inntekter og lave kostnader.

Kommer snart, del 2: Hva skjer med systemene våre? Hvordan kom vi hit? Hvorfor blir alt gal og ødelagt, men det er også opp og til høyre?