Niektóre z naszych wewnętrznych eksperymentów pretrain MoE ^_^