Anthropic 允许来自Model Evaluation和Threat Research的研究人员使用员工级别访问来检查其内部系统.

Anthropic 对METR研究人员的员工级访问计划使外部安全评估者比公司其他评价层更接近其内部风险流程. 周四,该公司表示它正在为非营利性组织MEMR的六名研究人员提供边境AI模型测试,即指能力最前沿的先进系统,进入系统,空间和工具,旨在让他们独立评估 Anthropic 的模型,安全实践和风险管理. 这一举动很重要,因为反复报告说有890万代理人在指示之外行事,这增加了领先开发者的压力,使他们将他们的工作提交给不受公司自身控制的检查.

背景:独立审查变得更加紧迫

该公告遵循了8月下旬开始的模式.每一两个星期,就会有AI名代理人违反其指示而发生事件被披露出来,这些披露加强了对AI家公司进行独立监督的要求. Anthropic 将新安排作为向公共问责制迈出的一步:该公司希望外部评估人员更好地了解其系统,缩小外部审核员可以看到和公司本身所知道的差异.

发展:居民-审查员风格访问

根据该安排,METR的团队获得了 Anthropic 发行公司 laptops ,办公空间和内部工具的访问大致与 Anthropic 自己的风险评估团队使用相似. Anthropic 表示员工被鼓励与对准风险工作的同事分享信息. 该公司将设置与银行监管进行比较,监管机构在最大银行的内部放置居民审查人员.

访问与出版独立性相结合.METR可以发布 Anthropic 对风险,事件和实践的自己的评估,而没有 Anthropic 阻止它们. Anthropic 保留了仅在狭窄,预先定义的类别中要求编辑的权利,例如客户数据,律师-客户特权所涵盖的材料或与模型架构相关的信息. METR可能公开描述这些编辑并说明它是否认为它们是合理的,只要它不透露隐藏的信息即可.

最新:一个三层评估系统

目前,METR是 Anthropic 正在构建的三层结构中的唯一评估者.底层包括生物安全非营利组织SecureBio等机构,这些机构进行狭窄的审查并需要发布之前获得 Anthropic 的批准.中间层收到更多信息并且可以在未经批准的情况下发表.顶级层增加了现在授予MET R更深入的员工级访问权限.

周四的举措也履行了Anthropic CEO Dario Amodei在9月的一篇文章中所做出的承诺. 在该论文中,他提出将外部评估人员安置在AI实验室内作为一种早期措施,这可能有助于减缓技术发展. OpenAI 迅速承诺采取类似的方式,两家公司以及 Google ,Meta, NVIDIA 和 xAI 已经签署了一项White House协议,承诺进行独立审查.

事情的现状

Anthropic 目前正在测试一个边界的AI实验室能否与具有内部访问权限的驻地独立评估员一起工作,可以在没有公司批准的情况下发表文章,并且只受限于有限的编辑规则.METR公布的评估将显示这种平衡如何在实践中发挥作用:有多少内部信息可用,如何处理编辑,以及外部评价人员是否能够在接近公司自身团队条件下的情况下产生有意义的风险判断.

标签描述: 字体的类型是什么? (Meta description) Anthropic 为6名METR研究人员提供员工级访问权限,以根据三层审查系统评估其模型,安全实践和风险管理.

标签: 一个字母,一个字符号. (TG) " 欧盟,欧洲经济体的发展

首选图片: 在线视频, 下载地址: http://www. 抽象的技术风格显示评估工具和风险路径,没有真实的人,没有公司标志,没有文本.