Pourrions-nous dire si gpt-oss mémorisait ses données d'entraînement ? C'est-à-dire, des points où il raisonne par rapport à ceux où il récite ? Nous avons jeté un rapide coup d'œil à la courbure du paysage de perte du modèle 20B pour comprendre la mémorisation et ce qui se passe en interne pendant le raisonnement.