Ширша теорія системного дизайну: що не так із модерном і постмодерном, як вижити в лавині, що насувається, і як вирішити основні проблеми, з якими ми стикаємося. Частина перша: Системи є моделями. Але що таке модель?

Я обіцяю, що в якийсь момент це стане практичним, але спочатку ми повинні закласти певні основи. Якщо ви вважаєте основу очевидною або ви готові просто повірити мені на слово, не соромтеся її пропустити. Але в кінцевому підсумку, без бекграунду ви навіть не зможете толком зрозуміти пропозицію.

Без втрати узагальненості будь-яку систему можна розглядати як граф параметрів, з'єднаних ребрами, де сенсорні вузли отримують входи, які керують як внутрішніми змінами графіка, так і виробляють виходи на активних вузлах.

Модель - це система, яка діє з метою мінімізації похибки прогнозування щодо апріорних, втілених її графіком параметрів.

Системи завжди є моделями, тому що системи повинні продовжувати існувати, і якщо вони роблять дії, несумісні з умовами стійкості, вони гинуть. Умови змінюються. Тому наполегливі системи повинні вчитися, що вимагає від них моделювання реальності та мінімізації здивування.

Приклади моделей: сталь у ковальській кузні, ринок, ліс, клітина, дерево, ЛМ, електрична мережа, корпорація, соціальна мережа. Іншими словами, все, що адаптується з часом, щоб передбачити нові вхідні дані.

В сторону: це не тільки моделі. Їх можна розглядати і з інших сторін: сервіс соціальних мереж - це також набір програмного забезпечення, ідеально фіксованого і детермінованого, що обробляє входи і виходи. Людина - це ліпідний мішечок в основному з води, а також людина, а також модель.

Моделі можна розглядати як прогнозування розподілу по можливих входах. Успішна модель передбачає розподіл, який добре відповідає розподілу її входів. Це означає, що він прогнозує точно, точно, надійно та ефективно.

(Далі наводиться нескладне пояснення прогностичної обробки та принципу вільної енергії та активного висновування, якщо у вас є передумови).

Ми говоримо, що прогнозований розподіл є точним, коли він мінімізує відхилення від спостережуваного розподілу вхідних даних.

Ми називаємо прогнозований розподіл точним, коли він має низьку дисперсію, тобто робить дуже конкретний прогноз. Вужчий прогноз із заданою точністю не наближає ваше середнє припущення до середнього вхідного значення, але він наближає вас з кожним вгадуванням!

Прогнози надійні до шуму, якщо вони максимально прості. Чим менше параметрів і взаємодій параметрів використовує модель для прогнозування, тим більше вона відповідає незмінному аспекту вхідного сигналу низької частоти.

Тут ми в основному пропустимо ефективність, але основна ідея полягає в тому, що споживання енергії в основному таке ж, як і точність або складність витрат, вам просто потрібно перевести з термо на інформаційну теорію.

Легко мати по-справжньому надійну високу точність: завжди вгадуйте одне й те саме. На жаль, ваша точність буде лайном. Як наслідок, ми зазвичай розглядаємо їх разом, як точно-зважену похибку.

Виявилося, що Королівський шлях до втрати низької точності, зваженої за низькою точністю, є гірким уроком: чи спробували ви більше параметрів і більше даних? Зрештою, ви можете перекваліфікуватися на всі людські знання (LLM), і це досить непогано. На жаль, якщо домен змінюється... не надійний.

Всі три вимагають балансу. На щастя, ви можете оцінити їх усіх по бітах. Похибка, зважена за точністю = -log(розбіжність з входами, зважена за точністю) Робастність або складність = -log(розбіжність модельних апріорних від однорідного або натурального апріорного)

Для будь-якої дії або зміни у вашій моделі ви можете оцінити, наскільки це допомагає, підсумувавши загальну вигоду з точки зору точності, точності та надійності. Чи варто додавати цей параметр? Що ж, чи окупаються додаткові 20 біт точності за 8 біт складності у ваших апріорних?

При розгляді реальної системи номінальною метою зазвичай є якась точність. Для економіки високі темпи зростання ВВП і низький рівень безробіття є «попередніми очікуваннями», які система намагається виконати. Для корпорації зазвичай це попереднє очікування високого доходу і низьких витрат.

Незабаром, частина 2: що відбувається з нашими системами? Як ми сюди потрапили? Чому все йде шалено і ламається, але при цьому все вгору і вправо?