J'ai écrit l'histoire complète des Attention Sinks — une plongée technique dans la façon dont le mécanisme a été développé et comment notre recherche a fini par être utilisée dans les nouveaux modèles OSS d'OpenAI. Pour ceux qui s'intéressent aux détails :