ok, preciso de ajuda! tentei ajustar o GPT-OSS no fim de semana. ele funciona por ~ 100 etapas e, em seguida, gera um erro de falta de memória CUDA Meu palpite é que, de vez em quando, todos os tokens são encaminhados para um único especialista. então o treinamento trava. Existe uma solução fácil? nunca ajustou um MoE antes

Qual modelo devemos fazer a seguir?

Curioso sobre os dados de treinamento dos novos modelos gpt-oss da OpenAI? Eu também estava. então eu gerei 10 milhões de exemplos de gpt-oss-20b, executei algumas análises e os resultados foram ... muito bizarro Hora de um mergulho 🧵 profundo

explicação mais curta do GPT-5: isso é exatamente o que as leis de escala previram! O modelo é melhor, os retornos estão diminuindo e, infelizmente, as melhorias absolutas da inteligência geral só diminuirão A boa notícia é que ainda há muito a fazer. Personalidade, raciocínio, memória e criatividade ainda são problemas em aberto

bom momento para lembrar a todos que uma pontuação alta no SWEbench realmente indica que os dados de treinamento continham uma proporção suficientemente grande de Django

a parte mais impressionante do GPT-5 é o salto no contexto longo como você faz isso? produzir alguns dados sintéticos estranhos de longo alcance? digitalizar muitos livros?

o mundo do VC oferece muito valor, mas às vezes parece que eles acabaram de incendiar dinheiro. várias startups que conheço levantaram ~ 100 milhões no total há três anos para fazer IA, construíram software que ninguém nunca usou e agora todos trabalham em outros lugares em coisas não relacionadas. Para onde foi todo esse dinheiro?

estranho na era da mídia social sentir que todos estão trabalhando em revisões e refutações do NeurIPS agora, mas ninguém está falando sobre isso publicamente. Contribuí para três refutações. Um dos três foi extremamente frustrante. Quem mais está trabalhando em refutações? Como está indo para você?

Sam Altman quer construir um modelo com classificação 3200 no CodeForces, mas não tem ideia de quem é Sam Altman E eu acho isso lindo

Passei as últimas horas conversando com o GPT-OSS e posso dizer com segurança que é diferente de qualquer modelo que testei Em um segundo, está codificando para mim em um nível profissional, no próximo está inventando fatos básicos e se apegando a eles, não importa o que eu diga algo muito estranho está acontecendo