精选国内外AI工具, 查看最新收录

阿里通义提出GSPO算法提升大模型强化学习稳定性

Qwen 官方博客 返回资讯

通义团队在官方博客中提出了一种新的强化学习算法GSPO,用于训练语言模型。现有主流算法GRPO在长时间训练中会出现严重不稳定,甚至导致模型崩溃,增加算力也无法继续提升效果。GSPO改为按整条回答序列计算重要性比值,并在序列层面做裁剪和优化,而不是像过去那样逐词处理。实验显示,GSPO训练效率更高,同等算力下效果更好,且天然适配混合专家模型,无需额外的路由回放策略。该算法已用于最新Qwen3系列模型。 这件事的重要性在于,强化学习正成为提升大模型推理能力的关键手段,但训练稳定性一直是卡脖子的难题。GRPO等算法在规模扩大后容易崩溃,意味着投入更多算力也换不来更好结果,直接限制了模型能力的上限。GSPO从算法层面解决了这一问题,让训练可以持续扩展,这对整个行业探索更大规模强化学习有参考价值。尤其对混合专家架构,GSPO省去了复杂的工程适配,降低了训练门槛。 对从事大模型训练和研究的团队来说,GSPO提供了一条更稳、更省算力的技术路线,代码和思路公开后可借鉴到自己的训练流程中。对使用Qwen3系列模型的开发者,这意味着模型在推理、代码等任务上的表现可能更可靠。普通读者可以关注的是,大模型能力提升的背后,训练方法的改进往往比单纯堆算力更关键,这类算法进展会逐步体现在日常使用的AI产品里。


原文:Qwen 官方博客

资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗

会员留言

推荐工具↑ ↓ 选择 Enter 打开