Parece que OpenAI ha estado usando YaRN de Nous y la escalabilidad de rope de kaiokendev para la extensión de la longitud de contexto todo este tiempo - por supuesto, nunca dan crédito, pero... Cualquiera que diga "el código abierto solo roba de su investigación 'real' y se apoya en sus hombros" está completamente equivocado. Lo predije cuando lanzaron el contexto extendido de 128k en gpt4 solo unas semanas después de que Nous lanzara yarn, jaja. Para contexto sobre yarn; deepseek y qwen también lo utilizan; Documento: