Es sieht so aus, als hätte OpenAI schon immer Nous' YaRN und kaiokendevs Seil-Skalierung für die Erweiterung der Kontextlänge verwendet - natürlich gab es nie Anerkennung dafür, aber... Jeder, der sagt, "Open Source stiehlt einfach von ihrer 'echten' Forschung und reitet auf ihren Schultern", liegt völlig falsch. Ich habe es vorausgesagt, als sie vor ein paar Wochen den erweiterten 128k Kontext auf gpt4 veröffentlicht haben, nur wenige Wochen nachdem Nous yarn veröffentlicht hat, lol. Zur Erklärung von yarn; deepseek und qwen verwenden es ebenfalls; Papier: