Parece que a OpenAI tem usado o YaRN da Nous e o rope scaling do kaiokendev para a extensão do comprimento do contexto o tempo todo - claro que nunca dão crédito, mas... Quem diz que "o código aberto apenas rouba da sua pesquisa 'real' e se aproveita dos seus ombros" está completamente errado. Eu já tinha previsto isso quando lançaram o contexto estendido de 128k no gpt4 apenas algumas semanas depois que a Nous lançou o yarn, lol. Para contexto sobre o yarn; deepseek e qwen também o utilizam; Paper: