Ok, leia @Extropic_AI (@BasedBeffJezos) que consegui pesquisar durante minha sessão de treino. TLDR: A inferência padrão envolve fazer um monte de cálculos de matriz sequencial e paralela, mas, em última análise, tudo se resume à amostragem probabilística. A Extropic está construindo um chip que ignora todo esse maquinário matemático e, em vez disso, simplesmente incorpora a distribuição de probabilidade aprendida do conjunto de treinamento subjacente e amostras diretamente do hardware. Isso é muito legal!

No nível mais fundamental, os LLMs pegam um conjunto de treinamento gigante, composto de tokens, e aprendem a estrutura entre palavras, frases, etc. Eles não estão raciocinando, mas estão - na verdade - aprendendo a distribuição de probabilidade extremamente complexa entre os tokens. Por exemplo, se eu perguntar "Qual é a cor do céu", ele procurará naquele PD aprendido e verá ["O", "cor", "de", "o", "céu", "é", "azul"] como a sequência de maior probabilidade. Chegou a isso fazendo um monte de cálculos de matrizes. Se você quiser aprender a mecânica disso, pode ir em frente e ler o artigo original do Transformer, mas honestamente não é tão importante. O que é importante é o seguinte: 1. Etapa de treinamento: insira um grande conjunto de dados --> distribuição de probabilidade de saída de tokens. 2. Etapa de inferência: consulta de entrada --> mapeamento de saída sob amostragem probabilística. A propósito, o resultado muito legal (embora um tanto óbvio) em retrospectiva é que ... Os LLMs são injetivos e invertíveis! Isso significa que há um mapeamento exclusivo do prompt para o espaço latente e vice-versa. Muito legal!

Enfim, muito legal trabalho equipe Extropic! A propósito, dia de perna hoje e foi glorioso.