Certaines de nos expériences internes de préentraînement MoE ^_^