当单独的推理不足时:引导小模型思考超越参数知识

超级描述:FlyBy解释了为什么尽管扩展推理,但小推理模型会失败,并使用选择性的外部查询来解决执行和知识瓶..

标签:小推理模型,FlyBy,查询增强推理,执行瓶,知识瓶

技术风格,没有真实的人物,没有公司标志,也没有文字.

一个叫做FlyBy的框架解决了为什么即使允许他们推理更长时间,小型推理模型也会失败.这项工作分离出两个原因:执行瓶,在该模型中仍然可以达到正确的下一步,以及缺少参数知识阻碍进度的知识瓶.然后 FlyBy学习何时向强大的外部模型寻求帮助和如何深入查询它们,使用返回的信息继续自己的推理而不是随意调用外部模型.对于希望紧.型号在困难任务上保持有用而不需支付每次可能的外部调用的成本的团队来说,这一点很重要.

背景:扩展推理并不能保证正确的答案

小型推理模型具有吸引力,因为它们可以更快,更便宜和更容易部署.但是当任务需要许多推断步骤时,一个紧的模型可能会进入失败模式,看起来像是一个推理问题,尽管潜在原因不同.在某种情况下,该模型可能已经包含了足够的信息来继续,但其推理过程没有找到正确的延续.在另一个情况下,这个模型简单地缺乏所需的事实或结构化的知识在其参数中.如果不区分这些情况,扩展推理就可以产生长期,自信,但错误的输出.

发展:将执行瓶与知识瓶分开

研究的贡献是执行瓶.和知识瓶之间的划分. 执行瓶 ?? 是内部的:正确的延续仍然可达,但模型在推理过程中无法检索或构建它. 这表明如果改进搜索流程,同一个模型内的更多计算可能有所帮助. 知识瓶不同:缺少的信息不在模型参数内存中,因此没有多少内部推理可以发明必要的事实.

这种区别解释了为什么简单地扩大推理时间可能会失败. 它也创造了一个设计目标:系统需要一种检测外部知识的方法,以及当问题仅仅是内部搜索难度时.

最新:FlyBy使用选择性查询而不是不断的外部呼叫

FlyBy将这种诊断转化为选择性查询增强推理框架.它不把每个问题都引导到一个更强大的模型中,而是学习何时应该进行查询以及该查询的深度.原则上,查询深度可以从简短的搜索到更实质性的检索,这取决于模型在恢复自身推理之前需要多少缺失信息.接收外部输出后,FlyBy将其集成到较小模型的推理路径中.

目标是将小型模型的低成本与更强大的外部模型的知识广度相结合,同时避免随意查询.这使得较小的模型能够控制推理过程,但只允许它在失败可能是由缺乏知识而不是弱内部搜索引起的时才寻求帮助.

这对紧的推理系统意味着什么

对于实践者来说,主要的价值是成本控制.选择性查询可以减少对昂贵的大型模型的调用,保持响应速度,并让小型模型负责大多数推理.这种方法还表明未来的推理系统应该根据类型评估故障,而不仅仅是最终准确度.低得分可能反映了内部搜索不佳,缺乏知识或过度依赖外部呼叫.

目前的源材料描述了框架和瓶类别,但它没有提供日期,基准分数,模型大小或部署结果.下一个审查阶段将是学习查询策略是否足够提高精度以证明增加系统复杂性.该领域目前正处于提出机制而不是显示公共性能数字的阶段.关键的问题是 reasoning model 个小的人如何可靠地决定何时进行查询以及何时单独继续使用.