Teori desain sistem yang lebih besar: apa yang salah dengan modernitas dan pasca-modernitas, bagaimana bertahan hidup dari longsoran salju yang akan datang, dan bagaimana memperbaiki masalah utama yang kita hadapi. Bagian satu: Sistem adalah Model. Tapi apa itu Model?

Saya berjanji ini menjadi praktis di beberapa titik, tetapi pertama-tama kita harus meletakkan beberapa dasar. Jika Anda menemukan dasarnya jelas atau Anda bersedia mempercayai kata-kata saya, jangan ragu untuk melewatkannya. Tetapi pada akhirnya, tanpa latar belakang Anda bahkan tidak dapat benar-benar memahami proposal tersebut.

Tanpa kehilangan keumuman, sistem apa pun dapat dilihat sebagai grafik parameter yang dihubungkan oleh tepi, di mana simpul sensorik menerima input yang mendorong perubahan grafik internal dan menghasilkan output pada simpul aktif.

Model adalah sistem yang bertindak untuk meminimalkan kesalahan prediksi terhadap prior yang diwujudkan oleh grafik parameternya.

Sistem selalu menjadi model karena sistem harus terus bertahan, dan jika mereka mengambil tindakan yang tidak sesuai dengan kondisi ketekunan, mereka mati. Kondisi berubah. Oleh karena itu sistem yang gigih harus belajar, yang mengharuskan mereka untuk memodelkan realitas dan meminimalkan kejutan.

Contoh model: baja di bengkel pandai besi, pasar, hutan, sel, pohon, LLM, jaringan listrik, perusahaan, layanan media sosial. Dengan kata lain, apa pun yang beradaptasi dari waktu ke waktu untuk mengantisipasi masukan baru.

Selain itu: Hal-hal ini bukan hanya model. Mereka juga dapat dilihat dengan cara lain: layanan media sosial juga merupakan kumpulan perangkat lunak, yang diperbaiki dengan sempurna dan deterministik, memproses input dan output. Manusia adalah kantong lipid yang sebagian besar berisi air, dan juga seseorang, dan juga model.

Model dapat dilihat sebagai memprediksi distribusi atas kemungkinan input. Model yang berhasil memprediksi distribusi yang cocok dengan distribusi inputnya dengan baik. Artinya memprediksi secara akurat, tepat, kuat, dan efisien.

(Berikut ini adalah penjelasan awam tentang pemrosesan prediktif dan prinsip energi bebas dan inferensi aktif, jika Anda memiliki latar belakang).

Kami mengatakan distribusi yang diprediksi akurat ketika meminimalkan divergensi dari distribusi input yang diamati.

Kami menyebut distribusi yang diprediksi tepat ketika memiliki varians rendah, artinya membuat prediksi yang sangat spesifik. Perkiraan yang lebih sempit pada akurasi tertentu tidak membuat tebakan rata-rata Anda lebih dekat ke input rata-rata, tetapi itu membuat Anda lebih dekat dengan setiap tebakan!

Prediksi kuat terhadap kebisingan jika sesederhana mungkin. Semakin sedikit parameter dan interaksi parameter yang digunakan model untuk prediksi, semakin sesuai dengan aspek input frekuensi rendah yang tidak berubah.

Kami sebagian besar akan melewatkan efisiensi di sini tetapi ide utamanya adalah bahwa konsumsi energi pada dasarnya sama dengan akurasi atau kompleksitas bit pengeluaran, Anda hanya perlu menerjemahkan dari termo ke teori informasi.

Sangat mudah untuk memiliki presisi tinggi yang sangat kuat: selalu menebak hal yang sama. Sayangnya, akurasi Anda akan menjadi kotoran. Akibatnya, kita umumnya menganggapnya bersama-sama, sebagai kesalahan berbobot presisi.

Jalan Kerajaan menuju penurunan bobot presisi rendah telah ditemukan sebagai pelajaran pahit: sudahkah Anda mencoba lebih banyak parameter dan lebih banyak data? Pada akhirnya, Anda dapat terlalu menyesuaikan diri dengan semua pengetahuan manusia (LLM) dan itu cukup bagus. Sayangnya, jika domain berubah ... tidak kuat.

Ketiganya membutuhkan keseimbangan. Untungnya Anda dapat mencetak semuanya dalam potongan-potongan. Kesalahan tertimbang presisi = -log (divergensi dari input, ditimbang dengan presisi) Ketahanan alias Kompleksitas = -log (divergensi model sebelumnya dari sebelumnya seragam atau alami)

Untuk setiap tindakan atau perubahan pada model Anda, Anda dapat menilai seberapa banyak itu membantu dengan menjumlahkan manfaat total dalam hal akurasi, presisi, dan kekokohan. Apakah layak menambahkan parameter itu? Nah, apakah 20 bit akurasi ekstra membayar untuk 8 bit kompleksitas di sebelumnya?

Ketika mempertimbangkan sistem nyata, tujuan nominalnya biasanya semacam akurasi. Untuk perekonomian, pertumbuhan PDB yang tinggi dan pengangguran yang rendah adalah "harapan sebelumnya" yang coba dipenuhi oleh sistem. Untuk perusahaan, biasanya harapan sebelumnya akan pendapatan tinggi dan biaya rendah.

Segera hadir, bagian 2: apa yang terjadi dengan sistem kita? Bagaimana kita bisa sampai di sini? Mengapa semuanya menjadi gila dan rusak tetapi juga semuanya ke atas dan ke kanan?