这些是Miles Brundage的纸币, 标题为"我们在Triage Mode为AI Safety".

曾经在课程的第二天进行的一次阅读已经被转移到可选状态,其作者的主要说法值得关注:人类最多会80/20 AI AI风险,减轻 80% 的危害 20% 的努力更慢,更好的治理世界将适用. 这一论点来自迈尔斯 - 一位前 Senior Advisor AGI Readiness 在OpenAI离开了公司部分工作较少行业偏见的人 - 描绘了一个未来,其中非常糟糕但不是最坏的情况下结果成为可以接受的损失. 从核心课程中降级本身就是一个信号,表明它的分类框架如何受到质疑.

背景:迫切需要的理由

迈尔斯的案例依赖于一个压缩时间线.他在12月 2024的一篇题为"Time [9s Up for AI Policy",他写道,在几乎每个认知领域中超越人类表现"几乎肯定会在未来几年内被构建和部署".他引用了o3的公告作为证据表明超人编码和数学正在比许多预期更早地到来,而且准备工作才刚开始.

他关于数学进步的笔记指出,如果确认的话,OpenAI报告了Navier-Stokes Millennium Prize Problem trend显著上述趋势的解决.尽管有关其他工作是否进入训练数据存在争议. OpenAI还在几天后向互联网发布了372个其他的结果. 迈尔斯对AI进展进行了一次投注;7月份,Metaculus给加里一个赢得机会,90%这个数字后来下降到30%.

发展:80/20论点及其批评者

迈尔斯的摘录承认,完全避免严重后果是不可能的.他列出的场景包括造成痛苦和自杀的非常不公正的经济转型,肆虐 AI 的精神病和成,教育系统计划不足并ation忙改造,规模较小的人工智能支持的恐怖袭击"只"杀死数千或数百万人,以及至少几十年在少数国家稳定的人工智能的极权主义.

Miles Brundage对这种框架背后的思维方式进行了回击,并警告说AI安全社区关注短时间线产生反作用的稀缺性心态: "专注于短期时间线场景就像是第一响应者.大多数人性格不适合它". AI更直率地谈到了调整难度,认为在实际可用的技术中",请不要拆解所有人的概率大约为1"是一个过大的要求",并且大部分致命因素来自于第一次尝试时必须正确完成关键的事情.

最新:关于速度和距离的其他观点

一些论点挑战了分类前提,质疑其实际移动速度有多快AI.他认为时间表更长,理由是缺乏持续学习和样本效率较低.80%指出从预训练扩展到RL和推理时间扩展的转变:前培训增加100倍相当于推断增加1000倍或RL扩大18000倍.由于这些因素没有进行缩放,这种影响已经被掩盖起来,但他预计随着模型使用显著的推导时间计算以及RL占据大量培训计算而改变.

Miles Brundage 在 2024 晚些时候提出了另一种可能性: AI 可能是快速移动,但旅行的距离比大多数人想象的要长,因为模型限制只会随着时间的推移而变得明显.他将进步与飞艇穿越湖泊或带有疲倦乘客的划船相提并论,而是以飞艇跨过Pacific Ocean ocean我们称之为"智能"的大海远大于我们的理解范围.奥德还主张广泛AI时间表作为对持久专家分歧的正确认识回应,认为把这种分布缩小到一个单一数字是减少性的.尤德科夫斯基同样否认精确的时间线知识,指出几乎没有任何宣告一年的人都是正确的,并且批评AI 2027 sacrific为了短期收益牺牲信誉.

Christoph Winter 和 Charlie Bullock 提出了"激进的可选性",以应对变革可能在10年内发生,深度不确定性的情况. 这种观点支持非凡资源投资,与较为温和的可选择性建议不同.

需要注意什么

现在的辩论转向的是,分类是否是对短时间表的一个理性反应还是自我实现的稀缺心态.请关注马库斯注的更新,纳维尔-斯托克斯结果的进一步确认或争议,以及治理课程的变化是否反映了在变革到来之前可以达到多少缓解的更广泛的重新思考AI.