DeepMind试点全球首个双盲AI评测
Google DeepMind宣布试点全球首个针对专有前沿AI模型的双盲评测。做法是把外部评测放进一个加密隔离环境,模型在测试前无法接触题目内容,测试方也无法提前获知模型细节。合作方包括新加坡AI安全研究院、OpenMined、AVERI和MLCommons,测试对象是一款Gemini Flash Lite模型,使用保密基准题库完成评估。这套机制针对的是行业长期存在的基准污染问题。 基准污染指的是模型的训练数据里混入了测试题,导致跑分虚高。分数一旦失真,厂商之间没法横向比较,监管方也拿不到可信依据。双盲评测把评测过程关进加密环境,让模型无法提前针对题目优化,也让外部机构在保护模型机密的前提下完成独立验证。对正被要求证明模型安全性的AI行业来说,这提供了一条兼顾商业保密与评测公信力的路径。 这项进展对三类人最直接有用。一是AI安全和合规从业者,可以关注加密评测环境的具体实现方式,评估能否用于自家流程。二是模型开发者,双盲机制意味着跑分更有说服力,但也更难靠刷榜拿分。三是关注AI治理的普通读者,它说明评测公信力问题正在被当作工程问题解决,而不是只靠厂商自觉。后续要看这套方法能否扩展到更多模型和更多评测机构。
资讯内容仅供参考;产品功能、价格与发布日期请以原文和官方公告为准。查看原始来源 ↗
会员留言