精选国内外AI工具, 查看最新收录

MuonGS在LLM预训练中实现15%算力缩减

干AI 返回资讯

开发者Bohdan Hordii在DEV Community发文介绍,MuonGS优化器在LLM预训练中相比MuonH实现15%的token等效算力缩减。在400M稠密模型和1B参数MoE架构上,MuonGS达到相同验证困惑度所需时间比MuonH快15%。该方法通过Gram-Schmidt投影去除径向更新分量,使权重Frobenius范数最多呈次线性增长,保证持续探索。与需要大量辅助状态矩阵的二阶优化器不同,MuonGS在标准CUDA cgroup内执行就地张量操作,零额外VRAM分配,步骤延迟影响可忽略。


原文:DEV Community AI

资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。

会员留言

推荐工具↑ ↓ 选择 Enter 打开