Zyphra 提出 MoE 预训练中的 Expert Coupling：降低 all-to-all 通信开销

Zyphra 利用 MoE 路由中的相关性结构，提出相关专家共置（correlated expert placement）与 token shuffling 两种方法，在不改变模型架构和路由决策的前提下提升训练时 token 与专家的局部性。