Adieu, l'Embedding de Position Rotatif (RoPE). Nous prévoyons que RoPE ne sera plus utilisé dans les futurs LLM. Quelque chose de significatif a déjà été révélé ; la réponse se trouve dans cette image. Restez à l'écoute ! 🚀