备忘录3:通过反思性规则书的循环模型自我改进

标签描述: 字体的类型是什么? (Meta description) Memento 3使用了一个冷 89的LLM和一个自我改进循环,将经验转化为自然语言规则以及用于未知的环境的可执行代码.

标签: 一个字母,一个字符号. (TG) " 备忘录3,递归自我改进,冷的LLM, AI代理人,基于模型的学习

首选图片: 在线视频, 下载地址: http://www. 抽象的发光节点在黑暗网格上形成循环路径,

在不熟悉的环境中,代理不能依赖固定的策略.它必须发现规则,测试它们并修改其行为.Memento 3被引入为基于模型的递归自我改善 (RSI) 方法,具有冷 89的LLM,这意味着语言模型在过程中不会重新训练.相反,系统改进了它使用的外部表示:自然语言规范书,可执行代码和世界模型.这种转变很重要,因为它提供了一条通往可以不断更新 large model 权重而不必继续学习的代理的途径.

背景:特工需要学习他们没有得到的规则

当代理进入一个不熟悉的环境时,核心困难不是简单地选择一项行动. 代理首先必须了解哪些行为是可能的,哪些约束物质以及每个选择带来的后果. 在许多传统设置中,在部署之前必须设计出固定的策略或固定的指令集. 这当环境已知时起作用,但当规则被隐藏,变化或仅通过交互发现时就会变得脆弱.

这就是基于模型的学习变得有用的问题空间.而不是仅仅将观察结果直接映射到行为中,基于模式的代理试图保持对世界如何表现的内部表示.然后它可以计划使用该表示并更新当经验与其假设相矛盾时.Memento 3通过以自然语言,代码和观测结果为中心的结构循环来解决这个问题.

发展:从经验到规则书,然后是可执行的代码

这个过程从经验开始.当代理与环境相互作用时,它收集了关于什么是有效的,什么是失败的以及哪些模式重复出现的证据.Memento 3将这些证据转换为自然语言规则书.规则書是根据代理自己的观察构建的环境的临时描述.

下一步是使该描述成为可操作的.自然语言规则集编译成可执行代码用于计划.这很重要,因为语言可以表达规则,但计划通常需要更精确的事情:状态过渡,约束,搜索程序或动作序列.通过将规则转换为代码,Memento 3创建了代理认为已经学到和它实际上可以用来选择未来行动之间的桥梁.

循环在生成后不会停止.系统根据观察到的结果对规则和代码进行测试和修改.如果代理预测某种操作将导致特定结果,而环境没有产生该结果,那么不匹配就会成为反.规则可以被修正,代码可以调整,世界模型也可以更新.这个测试阶段把学习从一次性摘要变成持续的纠正过程.

最新阶段:一个冷 89的LLM指导无需再培训

备忘录3的一个关键部分是LLM被结.在这种情况下",结"意味着代理的自我改进周期中根本语言模型重量没有改变.系统不通过训练更新模型本身,而是更新模型生成和使用的文物:规则集,可执行代码和世界模型.

这在代理人的知识和规划机制层面上创建了一个递归的自我改进 (RSI) 循环.代理人所学到的东西有助于它决定接下来要调查什么.反过来,这些调查产生了新的观察结果,从而完善了规则书和代码,塑造了未来的计划.改进是递归性的,因为一个周期的输出改变了第二个周期的投入条件.

这种设计具有实用意义.由于LLM仍然被结,这种方法避免了对每一个新环境进行不断的重新训练或微调 large language model .相反,适应通过外部结构 (如规则集,可执行代码和世界模型) 发生.这种分离可以使学习过程更加透明,因为修订可以在规则书和代码中检查而不是隐藏在更新的模型权重内.

目前的情况以及接下来要看什么

目前,Memento 3被描述为一种基于模型的RSI方法,用于在不熟悉环境中运作的代理人.强调的贡献是机制的序列化:经验成为自然语言规则,规则变成可执行的计划代码,代码和规则与结果进行测试,更新的世界模式指导下一轮探索.

名称Memento 3识别了引入的方法.当前阶段强调闭环而不是静态指令集.接下来要关注的是,在环境杂时,规则冲突时,代码生成失败或代理必须决定首先测试哪个未知时,这些循环如何表现. 这些问题将确定冷.- LLM 自我改进周期是否可以支持可靠的学习超出受控设置.