MuonGS在LLM预训练中提速15%
开发者Bohdan Hordii在DEV Community发文称,其提出的MuonGS优化器在LLM预训练中优于AdamW和普通Muon。据文章披露,在400M密集模型和1B参数MoE架构上,MuonGS达到匹配验证困惑的速度比MuonH快15%,相当于减少15%的代币等效计算量。该方法通过Gram-Schmidt投影去除径向更新分量,使权重Frobenius范数最多呈O(√t)次线性增长,而非对数式累积停滞。文章称MuonGS不额外分配VRAM,在标准CUDA cgroup内执行就地张量操作,步骤延迟影响可忽略。
资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。
会员留言