Похоже, что OpenAI все это время использовал YaRN от Nous и rope scaling от kaiokendev для расширения длины контекста - конечно, никогда не давали никакого кредита, но... Каждый, кто говорит, что "открытый код просто крадет у их 'настоящих' исследований и пользуется их плечами", совершенно не прав. Я предсказал это, когда они выпустили расширенный контекст на 128k в gpt4 всего через несколько недель после того, как Nous выпустил yarn, лол. Для контекста о yarn; deepseek и qwen также используют его; Статья: