这里是关于独立评估者的最新消息.

Anthropic 已经开始向METR的团队提供,这是一家评估前沿模型 AI 的非营利性组织.该协议于10月15日宣布 2026,标志着公司承诺加强对其模型和安全实践的独立第三方评估的一个具体步骤. METR将公布其风险评估结果, Anthropic 无法否决发布.

这一举动是继之前两项承诺之后的.上个月, Anthropic 表示将寻求更强有力的独立评价.它还签署了 White House Accord on Super Intelligence ,其中公司承诺与独立外部审计师或评估员合作.在过去的一年里, Anthropic 已与METR一起进行多次审查 Risk Reports.它也正在与SecureBio和Accenture作为评估人员合作,并与其他几家组织进行早期讨论,包括 Hugging Face.

为什么独立评估者需要深度访问

随着模型变得越来越强大,它们需要更加强大的保护措施和更具挑战性的风险评估. Anthropic 认为它不能公开分享与其安全工作相关的所有信息,因为其中一些可能有助于恶意行为者或是商业敏感的,如计算或培训信息.相反,该公司正在给予第三方评价员深入访问并让他们发布有关构建其模型所涉及风险的证据和推理结论.声明目标是缩小评估人员对前沿AI公司系统的理解和公司本身了解之间的差距.

Anthropic 列出了有效评估的四个要求. 评估人员需要在评估前沿模型能力方面具备专业知识,包括了解如何进行评估可能会失败 (如对齐伪造). 他们需要独立性:没有被评价公司的股权和没有财务或运营依赖于它. 他们需要足够的访问来有意义地评估风险,包括对模型训练方式和保护措施功能可见性. 而且他们需要自由发布观察和评估.

该公司将这种逻辑与银行监管相比较. 银行对自己的风险状况比外部人了解得更多,因此监管机构指定居民审查员在最大的银行内部工作. 如果一家银行的冒险行为可能威胁到公众,第三方会试图提前看到这一点.

员工类型的访问在实践中意味着什么

Anthropic 已经招募了6名METR员工,拥有公司 hardware 的办公空间以及与其自身风险评估团队使用的大致相同的内部工具和系统.除了一小部分明确定义的类别之外:客户数据,律师-客户特权信息以及模型架构的信息, Anthropic 员工被鼓励与他们分享信息,就像与研究调整风险的同事一样.

METR将公布其对 Anthropic 风险水平,事件或做法的分析. Anthropic 不能否决发布,但可以要求删除属于狭窄和预先定义类别的信息.METR可以自由地在公共场合描述这些编辑并说它是否认为它们是合理的,而不披露被修改的信息

委托仅限于在可执行协议下运作的小型团队. Other METR员工与该团队的工作隔绝,包括研究人员与 Anthropic 合作的其他项目. Anthropic 框架嵌入式评估作为少数符合其安全标准的工作合格人士的近距离视图,而不是为其他组织获取其信息或客户和合作伙伴提供道.

一个三层次的访问模型

Anthropic 正在开发三层评估员的访问权限,其目标是最终在第三层拥有多名评价人员,每个人都会公布自己对风险状况和关键决策的分析.

在第一层,评估人员进行狭.范围的风险调查. Anthropic 决定提供什么样的访问权限,评价员可以在公司批准后公布结果.

在第二层,评价者可以在未经批准的情况下发布并获得更多信息. Anthropic 仍然可以要求删除特定类别的信息,尽管评价人员可以公布他们对编辑是否合理的看法.

第三层是与METR达成的协议:类似于第二层的员工访问和出版权.

其他伙伴关系以及接下来的发展

SecureBio正在审查 Anthropic 年8月份的化学和生物武器章节 Risk Report,在完成并发布了先前风险报告的试点评估后.一旦该评审完成, Anthropic 将考虑转向获得更多访问权限的项目.与埃森哲和教师团队一起, Anthropic 正致力于建立一个包括评估和红组建模型,进行对齐评估,测试模型保护措施以及跨组织能力建设的合作伙伴关系.

Anthropic 表示,目前的目标是确保合作伙伴保护机密信息并拥有评估其模型的资源和专业知识.随着信任的增长,将会有更全面的 embedding 报告.

Anthropic 指出一个注意事项:由于评估人员和银行审查员一样也可能与其他公司合作,因此存在意外泄露的风险.关于架构的信息具有很高的意外泄漏风险,并且通常对风险评估的重要性较低.当它非常重要时, Anthropic 表示将寻求共享,但须获得明确的内部批准.

对于读者来说,关键的问题是METR公布的评估是否具有实质性以及 Anthropic 是否扩大第三层访问到额外的评价员,将自愿安排转变为更广泛的边境 AI监督规范.