精选国内外AI工具, 查看最新收录

亚马逊用工业控制器协调多任务机器学习

Amazon Science 返回资讯

亚马逊研究团队在ICML 2026发表论文,提出ControlG框架,用于图自监督学习中的多任务训练。传统方法在每一步训练中混合多个目标的梯度,容易导致目标互相干扰。ControlG改用工业控制系统的思路,把算力按时间顺序分配给单个目标,由PID控制器决定下一步该关注哪个目标。框架在三个时间尺度上运作:先评估每个目标的难度和干扰程度,再优化每轮训练的算力分配,最后用反馈回路跟踪执行情况。 多任务学习长期面临三个难题:目标之间相互拖累、目标重要性随训练变化、某些目标被完全忽略。ControlG通过时间上分离目标而非每步强行折中,同时解决了这三个问题。这意味着图自监督学习不必再依赖人工调参来平衡多个损失函数,训练过程更稳定,学到的图数据表示质量也更高。对依赖图神经网络的推荐、风控、知识图谱等应用来说,这是一种可复用的训练调度思路。 这项研究对做图神经网络和多任务学习的工程师最有参考价值。如果你正在训练同时优化链接预测、掩码重建、互信息等多个目标的模型,ControlG提供了一套可解释的调度方案:训练早期探索所有目标,中期优先处理被干扰的目标,后期聚焦滞后的目标。论文已公开,代码思路清晰,可直接借鉴到自己的训练流程中,减少反复调权重的试错成本。


原文:Amazon Science

资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗

会员留言

推荐工具↑ ↓ 选择 Enter 打开