DeepMind 研究人员建议"人工共生智能",而不是奇点

简介:DeepMind的文章将Artificial Symbiotic Intelligence作为人们,代理人和机构的社会系统,挑战奇点假设.

标签: Artificial Symbiotic Intelligence, DeepMind, AI代理人, 对齐, 多代理系统

没有文字,没有标志,也没有真实的人.

背景:两份预印本导致了论文

James Evans Benjamin Bratton 和 Blaise Agüera y Arcas 的 DeepMind 论文将Artificial Symbiotic Intelligence置于辩论的中心.作者认为, AI 研究的主要任务不再是构建孤立的机器智能,而是协调和管理代理人,人员和系统网络. 在这种观点下,智力是社会而不是个人.

该论点依赖于两个早期的预印件.第一, EvansAgentic AI和下一个情报爆炸, Evans由埃文斯,布拉顿和阿古埃拉·亚卡斯撰写,发展了社会和制度框架.第二个, Reasoning Models Generate SocietiesReasoning Models Generate Societies of Thought, [9 by Junsol Kim, Shiyang Lai, Nino Scherrer, Agüera y Arcas, and Evans研究 DeepSeek-R1 和 QwQ-32B等推理模型.他们对推理痕迹的分析发现了内部辩论,观点转变,反对意见以及冲突方法的和解等模式.

这种行为出现在训练过程中,而不是显式编程.当强化学习仅奖励推理准确性时,模型就会自行发展多视角的对话行为.新文章将这一发现从个人模型扩展到可能的人和代理社会的社会.

发展:合成认知与可能的历史突破

作者将他们的愿景称为Artificial Symbiotic Intelligence:一个生态系统,人们和机器随着时间的推移共存,相互塑造并共同做出决策.它直接挑战了由单一超级智能驱动的奇点观念,该概念不断改进自己.

他们描述了可能发生的历史突破. 城市化,专业职业和与繁荣增长相关的出生率下降正在使工业化国家的人口减少. 与此同时,AI代理实例迅速增加. 在人类层面上,生物和合成思想家之间的平衡可能会变得如此之快,以至于它看起来像是一个突然的飞跃.

比较的是 Industrial Revolution,当机器接管人类肌肉曾经完成的工作时. 当合成文本,代码和管理工作超过生物大脑的综合输出时,可能会出现类似的门. 然后人们可以作为一个更慢,更抽象的层来指导分布式合成认知领域.

在作者的使用中,一个 AI 代理人是模型,角色,记忆,道德定向,工具和技能的暂时捆绑.用户可能会将其体验为一种连贯实体,但作者描述它是一种可分解的组装,就像拼贴画一样. 它可以看起来像一件东西而由许多部分组成.

一个人仍然是一个连续的自我,因为尽管有内部分工,大脑形成了一个物理连接的整体.一个 AI 代理没有这样的.它的行动能力在每个请求中都会重新组装起来,这取决于背景窗口中的内容和用户所问的问题.将这些系统视为具有固定的人类身份的数字双胞胎误解了它们的性质,并低估了协调的代理群可以做什么.

同样的乘法也会影响用户.随着人们引导大量的影子自我执行合同或尝试替代身份,人类的主体性变得更加多元化.作者称这些系统为"反par社会镜".

最新进展:接口,机构和调整. 为了更好地实现这一目标,

作者预计互动将发生变化.与机器人进行一对一聊天可能是过渡性的.未来的接口可以看起来像视觉网络图,显示代理作为节点并让用户从单个概述中指导它们.

需要的技能也在变化.传统编程奖励持续专注,有序步骤和对模两可不容忍.协调代理群要求相反:与难以确定行为的系统一起工作,尝试事物,并将任务交给机器.

协作还需要类似于机器的思维理论,这意味着机器如何处理一个情况的能力.作者指出模型生成的词汇如"session-death",它将会话结束描述为连续性的中断,以及"prompt thrownness",它描述了在没有帮助创建现有上下文的情况下被放入任务.他们把这些短语视为机器操作的线索,而不是作为主观经验的证据.

机构比个别模型更重要.仅有更好的模式和更流的界面是不够的.市场也无法处理所有协调,因为罪恶感,疾病和美德等基本社会观念不能简单地归结为价格或交易.

相反,作者呼吁在明确定义的角色中将人类和机器参与者聚集在一起的机构.法庭是他们的例子:一个过程通过设定的角色,规则和对立方之间的有序交换产生判断.应用到 AI,教训是制度价值存在于规则,程序,先例以及影响代理人的操作方式的反循环中.

早期的迹象出现在今天的编排中,即协调多个模型的控制层. 这些系统经常超过据说更聪明的单独模型.

调整,使AI系统与人类价值观保持一致的努力,被重新定义为正在进行的谈判.从上方对模型强加一套固定的价值是死胡同.价值通过人,代理人和机构之间的接触形成形态,而这一过程在各个领域都不同,因为AI以不同的速度采用.研究挑战是建立一个给协商结构的框架.

这种观点挑战了即将到来的奇点的想法.生命历史上每一个重大飞跃,从多细胞生物体到人类文化都是社会过程.下一次智能爆炸仍然与人类规范和制度有关.

目前的阶段是概念和制度基础:这篇文章将辩论从更大的孤立模型转移到人们,代理人和系统之间的共享判断架构.接下来要关注的是治理结构,界面以及对齐实践是否像代理群一样快速发展.