LRMoE：面向显存受限节点的需求侧负载重校准 MoE 高效训练
事件
稀疏混合专家（MoE）模型能扩充容量，但路由不均会造成计算与通信瓶颈；已有专家复制方案又会挤占令牌缓冲所需的显存。研究者提出 LRMoE，一种显存感知的 MoE 训练系统，联合重校准反向传播需求并平衡保留负载。
其前向阶段在资源约束下规划专家保留配额和放置，同时保留全部路由计算；反向阶段用负载重校准指标估计每个令牌—专家对更新的贡献，并按配额筛选。容量感知路由把保留对分配到原专家的可用实例，再经物理压实形成更小通信负载和可变尺寸分组矩阵乘法，从而降低反向流量、计算量和执行缓冲需求。
在 Qwen3-30B-A3B 与 GLM4.5-106B-A12B 上，LRMoE 将达到固定损失目标的 MoE 层累计训练时间较 SYMI 缩短 21.2%—44.8%。这意味着显存受限节点也能更高效训练大 MoE 模型，值得关注其在实际集群与不同路由分布下的稳定性。
来源
本条目由采集管线自动抓取并发布，完整内容见下方来源链接。
*采集源：arXiv cs.AI*