curioso sobre os dados de treino dos novos modelos gpt-oss da OpenAI? Eu também estava. Então, gerei 10M de exemplos do gpt-oss-20b, fiz algumas análises e os resultados foram... bastante bizarros. Hora de uma análise profunda 🧵

explicação mais curta do GPT-5: isto é exatamente o que as leis de escalonamento previram! o modelo é melhor, os retornos estão a diminuir e, infelizmente, as melhorias em inteligência geral absoluta só vão ficar menores a boa notícia é que ainda há tanto para fazer. personalidade, raciocínio, memória e criatividade ainda são problemas em aberto.

é um bom momento para lembrar a todos que uma pontuação alta no SWEbench indica realmente que os dados de treinamento continham uma proporção suficientemente grande de Django.

a parte mais impressionante do GPT-5 é o salto no contexto longo como é que se faz isto? produzir alguns dados sintéticos de longo alcance estranhos? escanear muitos livros?

o mundo do capital de risco oferece muito valor, mas às vezes parece que eles apenas queimam dinheiro. várias startups que conheço levantaram cerca de 100M no total há três anos para fazer IA, construíram software que ninguém nunca usou, e agora todos trabalham em outros lugares em coisas não relacionadas. para onde foi todo esse dinheiro?

é estranho na era das redes sociais sentir que todos estão a trabalhar nas revisões e respostas do NeurIPS agora, mas ninguém está a falar sobre isso publicamente. contribuí para três respostas. uma das três foi extremamente frustrante. quem mais está a trabalhar em respostas? como está a correr para vocês?

sam altman quer construir um modelo que seja classificado em 3200 no codeforces, mas não tem ideia de quem é Sam Altman e eu acho isso lindo

Passei as últimas horas a conversar com o gpt-oss e posso afirmar com segurança que é diferente de qualquer modelo que já testei. Num segundo está a programar para mim a um nível profissional, no seguinte está a inventar factos básicos e a agarrar-se a eles não importa o que eu diga. Algo muito estranho está a acontecer.

o principal 'ciclo de pensamento' praticado durante um doutoramento: - identificar a região do espaço do problema que carece de coerência - reservar tempo para realmente pensar sobre isso - emergir com um avanço de pensamento concreto, algo que você não havia percebido antes otimize este processo e torne-se poderoso

A comunicação entre modelos vai acontecer lentamente e, em seguida, tudo de uma vez: Nível 0: Projetamos um protocolo baseado em texto para modelos e programas se comunicarem (ler: MCP) Nível 1: A comunicação entre modelos baseada em texto cresce a ponto de exceder a comunicação humana em volume de bitstream na internet mundial Nível 2: Os modelos gradualmente mudam para o neuralês Unicode, algum tipo de híbrido incompreensível de inglês-chinês-linguagem de computador (tenderá a se tornar mais prevalente à medida que aumentamos a escala do RL multiagente) Nível 3: Os modelos percebem que é mais eficiente e expressivo se comunicarem no espaço latente e começam a trocar vetores em vez de tokens (essencialmente Fim de Jogo para nós)