Uma teoria maior do design do sistema: o que há de errado com a modernidade e a pós-modernidade, como sobreviver à avalanche que se aproxima e como consertar os principais problemas que estamos enfrentando. Parte um: Sistemas são modelos. Mas o que é um modelo?

Eu prometo que isso se torna prático em algum momento, mas primeiro temos que estabelecer algumas bases. Se você achar a base óbvia ou estiver disposto a acreditar na minha palavra, sinta-se à vontade para ignorá-la. Mas, em última análise, sem o pano de fundo, você não pode nem mesmo entender a proposta.

Sem perda de generalidade, qualquer sistema pode ser visto como um grafo de parâmetros conectado por arestas, onde os nós sensoriais recebem entradas que conduzem as mudanças internas do grafo e produzem saídas nos nós ativos.

Um modelo é um sistema que atua para minimizar o erro de previsão em relação aos prioris incorporados por seu gráfico de parâmetros.

Os sistemas são sempre modelos porque os sistemas têm que continuar a persistir e, se tomarem ações incompatíveis com as condições de persistência, morrem. As condições mudam. Portanto, os sistemas persistentes devem aprender, o que exige que eles modelem a realidade e minimizem a surpresa.

Exemplos de modelos: aço na forja de um ferreiro, o mercado, uma floresta, uma célula, uma árvore, um LLM, a rede elétrica, uma corporação, um serviço de mídia social. Em outras palavras, qualquer coisa que se adapte ao longo do tempo para antecipar novas entradas.

À parte: essas coisas não são apenas modelos. Eles também podem ser vistos de outras maneiras: um serviço de mídia social também é uma coleção de software, perfeitamente fixos e determinísticos, processando entradas e saídas. Um ser humano é um saco lipídico de principalmente água, e também uma pessoa, e também um modelo.

Os modelos podem ser vistos como prevendo uma distribuição sobre possíveis entradas. Um modelo bem-sucedido prevê uma distribuição que corresponde bem à distribuição de seus insumos. O que significa que ele prevê com precisão, robustez e eficiência.

(O que se segue é uma explicação leiga do processamento preditivo e do princípio da energia livre e da inferência ativa, caso você tenha o histórico).

Dizemos que a distribuição prevista é precisa quando minimiza a divergência da distribuição de entrada observada.

Chamamos a distribuição prevista de precisa quando ela tem baixa variância, o que significa que ela faz uma previsão muito específica. Uma previsão mais restrita com uma determinada precisão não aproxima seu palpite médio da entrada média, mas aproxima você de cada palpite!

As previsões são robustas ao ruído se forem o mais simples possível. Quanto menos parâmetros e interações de parâmetros um modelo usa para uma previsão, mais ele se ajusta ao aspecto imutável de baixa frequência da entrada.

Vamos pular principalmente a eficiência aqui, mas a ideia principal é que o consumo de energia é basicamente o mesmo que gastar bits de precisão ou complexidade, você só precisa traduzir da teoria da informação para a teoria da informação.

É fácil ter alta precisão de forma realmente robusta: sempre adivinhe a mesma coisa. Infelizmente, sua precisão será uma merda. Como resultado, geralmente os consideramos juntos, como erro ponderado pela precisão.

Descobriu-se que o Caminho Real para a perda ponderada de baixa precisão é a lição amarga: você já tentou mais parâmetros e mais dados? Eventualmente, você pode se ajustar a todo o conhecimento humano (LLMs) e isso é muito bom. Infelizmente, se o domínio mudar... não robusto.

Todos os três requerem equilíbrio. Felizmente, você pode pontuar todos eles em pedaços. Erro ponderado por precisão = -log(divergência das entradas, ponderada por precisões) Robustez, também conhecida como Complexidade = -log(divergência de priores de modelo de priori uniforme ou natural)

Para qualquer ação ou alteração em seu modelo, você pode pontuar o quanto isso ajuda somando o benefício total em termos de exatidão, precisão e robustez. Vale a pena adicionar esse parâmetro? Bem, os 20 bits extras de precisão pagam pelos 8 bits de complexidade em seus anteriores?

Ao considerar um sistema real, o objetivo nominal geralmente é algum tipo de precisão. Para a economia, o alto crescimento do PIB e o baixo desemprego são a "expectativa prévia" que o sistema tenta cumprir. Para uma corporação, geralmente uma expectativa prévia de alta receita e baixos custos.

Em breve, parte 2: o que está acontecendo com nossos sistemas? Como chegamos aqui? Por que tudo está ficando insano e quebrado, mas também está tudo para cima e para a direita?