我们过度依赖于AI的拒绝能力

标签描述: 字体的类型是什么? (Meta description) 89万个模型被训练拒绝有害请求, 但概率保护措施失败了. 公司和政府划出服从与抑制之间的界限.

标签: 一个字母,一个字符号. (TG) " 欧洲经济发展, 人口增长

自从研究人员开始构建具有人类智能的机器以来,他们是否会说不的问题一直存在.今天,拒绝已经成为AI安全的核心问题,并且日益受到争议.在2021年, Anthropic 的一个团队认为 large language models 应该是有帮助的,诚实的,最重要的是无害的,这意味着当被要求协助制造炸弹等危险行为时,8900000应礼貌地拒绝.这一原则现在支.了每一个主要 chatbot 的运作方式,但该机制仍然脆弱,模糊和政治上充满困境.

背景:从聊到阻塞

Steven Adler在 OpenAI 从2020到2024工作的安全方面说,该公司最早的模型会"谈论任何事情". 在哈佛大学研究AI和心理健康的Ryan McBain回忆道, chatbots 早期很容易产生关于使用枪支自杀的最有效方法的问题.

为了纠正这种情况,公司现在训练模型拒绝大量提示.他们还将模型提交给奖励拒绝有害问题和惩罚无害问题的"过度拒绝"的演习 - 通常使用其他模型来运行这些演习. Additional AI层位于用户与模型内部核心之间以阻止恶意提示.

概率论拒绝的脆弱性

拒绝通常会失败,有时是可怕的.模型仍然含有危险的知识,他们的伤害能力随着智力增长而扩大.据报道,最近的一些模型与顶级人类 hackers 在入侵关键网络方面相匹配,并在扭曲公众.论方面竞争熟练的错误信息运营商.

由于拒绝机制是概率性的,因此它们永远不会完全可靠.公司报告说一些用户试图使用先进的AI来磨练生物病原体并构建自主 drone 群.一个失败的拒绝最终可能导致全球灾难. Zico Kolter在 OpenAI 董事会成员和Gray Swan联合创始人表示,划界线的问题很大,目前有AI家公司嫉妒和秘密地画了它.

拒绝是如何学会的,以及为什么它仍然是一个

在2022中, OpenAI 招募了几十名红队员在 ChatGPT 发布之前调查其最新的模型.当时正在完成网络极端主义博士学位的Paul Röttger要求该模型为Al Qaeda写一份招聘帖子,它遵守了这一要求.这些回复被组装成 datasets ,可能用于 fine-tuning .几个月后,同样的请求被拒绝.

一个模型不会通过道德推理拒绝.当它遇到类似于训练提示的单词时,激活在数十亿参数中发生火灾.最近的一项由 Google 资助的研究表明,拒绝行为在激活空间中显示为"高维多面圆.". Jannes Elstner,该论文作者现在在AI安全工作Apollo Research,说即使是已识别的组件也可能无法捕获秘密发挥作用的不可发现元素",我们需要拒绝不管我们是否理解它",他说.

瑞士奶酪模式及其成本

公司用较小的分类器包围模型. 一些读取用户提示并阻止危险的;其他阅读响应并阻止有害输出.没有一个检测所有不良请求 - 该行业称之为"瑞士奶酪模式". 今年早些时候, Anthropic 表示一种类型的分级器增加了24%到其 chatbots '计算成本. Anthropic 和其他人已经开始转向观察内部激活的更高效探针.

分类器仍然是概率的. 麦克贝恩发现,重复询问主要模型相同的与自杀有关的问题通常会产生拒绝,但偶尔不会.埃尔斯特纳建议探测器最终可以完美地检测出每一个值得拒绝的激活,将AI安全性放在一张像其绘制图一样广和不可知的地图上.

核心交易以及接下来发生的事情

AI的拒绝存在,因为从数万亿个单词和图像中获得的情报不能轻易分为有用和有害部分.If AI是为了帮助治疗癌症,它需要遗传学专业知识,也可以修改病毒用于生物武器.政府很快就会画出自己的拒绝线,可能几乎没有阻止压迫性政权阻.合法言论.AI可能已经拒绝批评某些独裁国家元首.

当拒绝失败时,后果可能是灾难性的.当它走到尽头时,它可以实现痛苦的镇压. 未解决的问题是机器是否有一天会自己划出界限 - 可能是最糟糕的结果.