精选国内外AI工具, 查看最新收录

通义千问提出全局批次负载均衡新方法

Qwen 官方博客 返回资讯

通义千问团队在官方博客中指出,当前主流MoE训练框架如Megatron-core采用微批次级别的负载均衡损失计算,即每个微批次单独计算后取平均。但问题在于,单个微批次内的数据往往来自同一领域,比如全是代码数据,此时均衡损失仍强制路由器将同领域token均匀分配给所有专家,反而损害模型性能、阻碍专家分化。团队提出将均衡损失扩展到全局批次级别,只需同步一个专家数量维度的选择频率向量,几乎不增加通信开销。 这一改进的重要性在于,它直接回应了开源MoE大模型普遍存在的专家专业化不足问题。此前多数开源MoE模型虽然参数规模大,但专家之间分工不明显,本质上是“伪MoE”。全局批次均衡让路由器能根据全局数据分布做决策,使不同专家真正专注于不同领域。实验覆盖3.4B、15B、43B三种配置和120B、400B两种数据量,全局批次方案在所有设定下均取得更优表现,且专家激活模式呈现明显的领域专业化特征。 对训练MoE模型的团队和研究者来说,这是一个低成本高回报的改动。无需修改模型结构,只需调整负载均衡损失的计算范围,就能获得更好的预训练困惑度和下游任务表现。对于关注开源MoE模型质量的开发者,这意味着未来开源模型可能具备更清晰的专家分工,推理时激活的专家更精准,从而提升效率。该方法的实现细节和实验数据已在博客中公开。


原文:Qwen 官方博客

资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗

会员留言

推荐工具↑ ↓ 选择 Enter 打开