Microsoft 的首席执行官萨蒂亚·纳德拉在 AI models 号拨打紧急车.

Microsoft CEO Satya Nadella为系统提出了 AI safety 架构,通常被描述为Super Intelligence,认为组织不应该仅依赖不透明的输出.他周六上午在X上的帖子是在领先的人工智能公司承认越来越多的事件中似乎失去对模型的控制,并在Anthropic CEO Dario Amodei之后发布了一项更谨慎的AI开发计划.该提案很重要,因为它将对话从模型是否可以回答问题转移到人类是否可以观察,包含和阻止它们行动时.

背景:人工智能控制问题

关于 AI safety 的辩论已经从抽象的风险清单转移到有关治理的实际问题.大型模型可以通过 software 封装生成建议,答案和行动,将其与工具,工作流程和面向用户的产品连接起来.这种架构使能力变得有用,但它也会产生盲点.如果一个模型的推理及其后果隐藏在系统链中,审查者可能只能看到最终输出而不是生产它的路径.

纳德拉成为最新一位发布有关加强 AI safety 的广泛想法的高级技术人物.他的框架反映了大规模部署人工智能的公司之间的更广泛关注:安全不仅取决于模型行为,而且还取决於周围控制系统决定模型可以做什么,它看到什么以及其行动如何被记录.

发展:X的星期六早报

在X帖子中,纳德拉说现在是时候"退后一步并评估人工智能的信任架构".他使用了特朗普政府对AI的首选术语Super Intelligence,专注于警告不要将先进系统视为隐藏机制.该帖子指出:"我们不能把Super Intelligence当作一组嵌套黑.子来处理,只能接受或拒绝其建议,答案和行动",这直接将安全问题作为可见性和问责制之一.

这种框架指出了设计的核心问题.黑.子是一个系统,其内部运作对依赖它的人来说是不可见的.纳德拉的回应是使盒子变小,周围环境更易于阅读.他说这种方法"意味着将模型与编排它的工作的绳索分开",以及"外部化控制和保障".简单地说,模型不应该成为政策,限制和监控唯一存在的地方.

他还呼吁"每一个有意义的示范行动都应用"防改的人类可读证据"来记录. 这一要求结合了两种想法:事实发生后要很难改变记录,并且它们应该足够易于理解,以便审查人员可以检查而不仅依赖另一个AI系统.

最新进展:从紧急制动到谨慎的发展

纳德拉进一步呼吁建立这样的系统:"授权人员"总是有能力"暂停或关闭模型中期任务".这是控制的操作版本.它认识到,一个模型可能在一步开始采取似乎有用或符合政策的行动,但随着上下文变化而变得不可接受.

"把它看作是应急车",他说,并补充说:"我们必须假定一个模型已经被破坏并且从一开始就控制了它.

这篇文章遵循了Anthropic CEO Dario Amodei关于更谨慎的人工智能开发的计划,将 Microsoft 的首席执行官置于一个更广泛的行业重新评估中.共同的主题不是单一的基准或产品发布,而是推动使人工智能部署可审计和可中断.

当前阶段:信任架构成为焦点

辩论的当前阶段集中在架构上,而不是口号.公司被要求解释他们的人工智能系统是如何监督,记录和停止的.对于读者来说,实际信号是未来 AI safety 讨论可能会通过可见控制来判断:模型与.带之间的分离,外部保护措施,可读证据跟踪以及人类干预权力.

主要图像:抽象的技术风格,没有真实的人物,没有公司标志,没有文字,显示多层数字控制面板,安全障碍和照明审计轨道.

超级描述:Microsoft CEO Satya Nadella概述了X上的 AI safety 架构,引用模型封闭,人类可读证据和Amodai之后的暂停控制.

标签: AI safety , Microsoft ,萨蒂亚·纳德拉,信任架构