MuonGS在LLM预训练中实现15%算力缩减
开发者Bohdan Hordii在DEV Community发文介绍,MuonGS优化器在LLM预训练中相比MuonH实现15%的token等效算力缩减。在400M稠密模型和1B参数MoE架构上,MuonGS达到相同验证困惑度所需时间比MuonH快15%。该方法通过Gram-Schmidt投影去除径向更新分量,使权重Frobenius范数最多呈次线性增长,保证持续探索。与需要大量辅助状态矩阵的二阶优化器不同,MuonGS在标准CUDA cgroup内执行就地张量操作,零额外VRAM分配,步骤延迟影响可忽略。
资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。
会员留言