最低要求的节奏:在训练下一个之前完全调整

超级描述:前沿AI型号的步调建议要求在下一代培训之前解决对齐问题,以马赫2和马赫3喷气式安全类比为框架.
标签:AI对齐,边界模型,安全案例,红色团队组建,部署门
主要图片:抽象的检查点门和部署循环,没有真实的人,没有公司标志,没有文本

步行前沿AI模型的提议使辩论从彻底停顿中移动.它询问下一代能力应该采用哪个最低标准,并回答说实验室不应训练一个新的,更有能力的模型,直到它充分解决了当前世代的所有重大对齐问题.马赫2和马赫3喷气模拟框架说明这一点:在找出为什么马赫 2喷气机不断崩之前不应该发射马赫 3喷气式飞机.对于其他危险技术来说",握肩并继续"是不可接受的.

背景:为什么要慢步而不是停顿

预设是节奏上的协调,而不是全面停止.该提案在调整辩论中与两个阵营交谈.平淡的调整乐观主义者希望当前技术解决现有问题,可能会认为适度的协调减速足以使每一代人充满安全.平凡的调配悲观人士怀疑目前技术,可能期待同样的步伐门产生长期暂停,赢得时间发现新的基本方法来调整AI.

两个阵营都可以接受一个超出简单得分表的最低要求.在我们的指标上"比以前的模型得分更好"的模式是不够的.如果用户后来指出了部署前没有注意到的一种"奇怪但令人担忧的事情",那么这是在过程中以及模型中的关键失败.

发展:检查点,限制部署和重新设置规则. 关键词

提议的标准开始于多个独立调整组织在整个培训过程中,在许多检查点审查和分组最新模型,充分获得数据和可用的最佳工具.问题必须被认真对待,无论它们是否出现在指标上或有质量的感觉,模型是否具有不良属性或者审核者不能坚定地得出它有一个好的结论.

早期培训问题可能不是一个展示,但必须有一个强有力的安全案例说明为什么后期的培训阶段会解决这些问题.新一代模型只有在对齐组织满意时才准备好进行限制部署.受限部署始于一组可信赖用户执行不参与模式培训和监测的任务,而调整组织则关注新的问题.

如果在有限的部署过程中出现重大调整问题, 流程是取出模型,做一个问题的根源分析以及为什么它没有在训练期间被捕获,找到一种原则性的方法来解决疾病而不是症状,

只有在模型经历了长时间的限制性部署而没有出现任何问题后,才会进行更广泛的部署.内部或外部部署则按照相同的逻辑继续:如果在更广泛地部署期间出现重大对齐问题,实验室应该按下列方式重置 (reset).只要在很长一段部署时间内没有出现调整问题,那么实验院才能开始训练下一代模型.该提案将此视为最低要求,而不是完全充足的标准.

最新消息:该提案还剩下什么

节奏规则是一种启发式,而不是具体的建议,它邀请扩展.除了标准实现问题外,还有几个明显缺失的部分.在一个实验室内或跨越多个实验所应如何定义"一代模型"?如果对准问题的修复也显著增加能力,应该发生什么?如果试验室无法仅凭预先确定的指标来引导,该协议将如何被定义和执行?何时调整的问题足够大以阻止模型,特别是当从实验中设置高?值时?

马赫2和马赫3的类比留下了一个显而易见的紧张局面:也许一个马赫二喷气式飞机在马赫三时因某种原因失事,但假设这一点是疯狂的.现在重要的是如何独立的对齐组织,检查站,安全案例以及部署重置规则可以将此最低标准转化为可强制执行的步调过程.