システムデザインのより大きな理論:モダニティとポストモダニティの何が問題なのか、来るべき雪崩をどうやって生き残るのか、そして私たちが直面している主要な問題をどう解決するのか。 パート1:システムはモデルです。しかし、モデルとは何でしょうか?

これがいつか現実的になることは約束しますが、まずは何かの基礎を築かなければなりません。基礎が明らかだと感じた場合、または私の言葉をそのまま受け入れる場合は、遠慮なくスキップしてください。しかし、結局のところ、背景がなければ、提案を本当に理解することさえできません。

一般性を失うことなく、どのシステムもエッジで接続されたパラメータグラフと見なすことができ、感覚ノードは内部グラフの変更を駆動し、アクティブノードで出力を生成する入力を受け取ります。

モデルは、そのパラメーター グラフによって具体化される事前確率に対する予測誤差を最小限に抑えるように機能するシステムです。

システムは永続化し続ける必要があり、永続化の条件と互換性のない行動をとると死にます。状況は変わります。したがって、永続的なシステムは学習する必要があり、そのためには現実をモデル化し、驚きを最小限に抑える必要があります。

モデルの例:鍛冶屋の鍛冶場の鋼、市場、森、セル、木、LLM、電力網、企業、ソーシャルメディアサービス。言い換えれば、新しい入力を予測するために時間の経過とともに適応するものすべてです。

余談:これらは単なるモデルではありません。また、ソーシャルメディアサービスは、入力と出力を処理する、完全に固定された決定論的なソフトウェアの集合体でもあります。人間は主に水の脂質袋であり、人であり、モデルでもあります。

モデルは、可能な入力に対する分布を予測するものと見なすことができます。成功したモデルは、その入力の分布とよく一致する分布を予測します。つまり、正確、正確、堅牢、効率的に予測します。

(以下は、予測処理と自由エネルギーの原理と能動的推論についての素人説明です。

予測された分布は、観測された入力分布からの発散が最小化される場合に正確であると言えます。

予測分布は、分散が小さい場合、つまり非常に具体的な予測を行う場合に正確と呼びます。特定の精度で予測を狭くしても、平均推測は平均入力に近づくことはありませんが、推測ごとに近づくことはできます。

予測は、できるだけ単純であれば、ノイズに対して堅牢です。モデルが予測に使用するパラメーターとパラメーターの相互作用が少ないほど、入力の低周波数の不変の側面により適合します。

ここでは効率をほとんど省略しますが、主な考え方は、エネルギー消費は基本的にビットの精度や複雑さの消費と同じであり、熱から情報理論に変換する必要があるということです。

高精度を非常に堅牢に持つのは簡単です:常に同じことを推測します。残念ながら、あなたの精度はクソになります。その結果、通常は、精度加重誤差としてこれらを一緒に考えます。

低精度加重損失への王道は、苦い教訓であることが発見されました:より多くのパラメータとデータを試したのでしょうか?最終的には、すべての人間の知識(LLM)に過剰適合する可能性がありますが、それはかなり良いことです。悲しいことに、ドメインが変更された場合...堅牢ではありません。

3つともバランスが必要です。幸いなことに、それらすべてをビットでスコアリングできます。 精度で重み付けされた誤差 = -log(入力からの発散、精度で重み付け) ロバスト性 (Complexity) = -log(モデル事前確率と一様または自然事前分布からの分岐)

モデルに対するアクションや変更については、精度、精度、堅牢性の観点から合計の利点を合計することで、その効果をスコアリングできます。そのパラメータを追加する価値はありますか?さて、20ビットの精度の増加は、事前の8ビットの複雑さを補うのでしょうか?

実際のシステムを考えるとき、名目上の目標は通常、ある種の精度です。経済にとって、高いGDP成長率と低い失業率は、システムが満たそうとしている「事前の期待」です。企業の場合、通常、高収益と低コストを事前に期待しています。

近日公開予定のパート2:システムに何が起こっているのか?どうやってここまで来たのか?なぜすべてが狂って壊れているのに、すべてが右に上がっているのですか?