在LLM个代理执行过程中预测 token 次使用

标签描述: 字体的类型是什么? (Meta description) TokenCast预测 LLM从呼叫数量,上下文增长和成本剩余来计算 token 代理的消耗,降低错误并减少 token 代理支出.

标签: 一个字母,一个字符号. (TG) " 标签Cast, LLM代理商, token 预测, 代理预算控制, SWE-bench验证

![抽象的技术风格视觉显示 token 成本预测 LLM代理人,没有真实的人,没有公司标志,没有文本](数据: 图像/svg+ XML ,%3Csvg%20xmlns='http://www.w3.org/2000/svg'%20width='1200'% 20height='675'%2viewBox='0%200%201200%20675'%3E%3Crect%20 width= '1200' %20height =' 675' 20%fill='% 230f172a'/% 3E% 3Ccircle% 20cx='250% 20cy='337' 20%r='110'% fill20='2% 23d3ee' 20% opacity='0.35'% 3 E3% Ccircle='600% cx='20cy' 33% 7c='180' 80% 805'% 585'7% viewbox=''% 279'% 8'% 12'% 13'% 15'% 18'% 19'% 14'% 10'% 17'% 9'% 11'% 30'% 120

TokenCast是一种 token 消耗预测方法,用于LLM ( large language model ) 代理执行,其报告的结果指出了一种切实可行的方式来降低agentic software 中最混乱的成本之一:在任务结束之前决定一项任务将使用多少 tokens .该方法解决了代理系统中常见的一种模式.同一个任务可以在运行过程中消费更多的 tokens ,因为代理的下一步取决于工具反,并且不断增长的环境会膨胀每次后续调用的输入大小.

背景:为什么代理运行使 token 使用难以预测

LLM 代理通常以循环形式运行:模型接收提示,选择动作,调用工具或返回答案,然后看到结果并计划另一个步骤.每一轮将 tokens 添加到对话历史记录中.搜索结果,错误消息,文件列表或API响应可能成为下一个提示的一部分.这使执行成本比单次模式呼叫更难估计.

TokenCast围绕这个问题定位.它不把 token 的使用视为单个不透明输出,而是将执行分成部分并模拟使后续调用更昂贵的因素.

开发过程:将 token 使用转化为可组合的细分

核心想法是每个执行段的可构成成本表示.源中列出的细分特征是呼叫数量,净输入长度变化和剩余成本.呼叫计数捕获了发生多少模型交互.净输出长度改变反映了呼叫之间有多大的上下文增长或被修剪.费用残留代表了这些简单变量无法解释的使用部分.

该方法还使用一个精确的构成标识,以捕捉每次后来的调用中重新阅读早期背景的额外输入成本.这个细节很重要,因为上下文积累是代理支出的主要驱动因素:一项长时间的工作可能会一次又一次地支付相同的背景费用.

除此之外,TokenCast还使用了分阶段的前.后.预测器.它将直接预测与组合预测结合起来,然后从新观察到的执行证据中更新估计.换句话说,在运行开始时不认为预测是最终的;随着代理产生更多步骤而可以进行更新.校准量的模型提供预测间隔,给出范围而不是单点估算.报告设计也没有额外 LLM 调用,这使得预测层保持轻量化. 在评估设置中,平均累积预测时间为 32.8 ms per run on SWE-bench Verified .

最新进展:准确性,间隔和预算重播结果

报告的准确性结果是比较性的.在4个任务套件和6个代理模型中,TokenCast平均减少了96种评估组合中的最强对照器的平均绝对误差14.5%.这不是完美的预测;这是多个设置下的基线上的衡量改进.

预算控制结果更具操作性.在离线预算控制重播中,TokenCast平均使用的 tokens 比固定预算策略少于匹配跟踪完成时.固定的预算政策是一种简单的控制:分配一定数额并根据该配置停止或继续进行.重播结果表明,更好的 token 预测可以让系统对何时继续,削减上下文或结束运行做出更加明智的选择,同时仍然完成相同的跟踪.

当前阶段:数字显示代理成本控制

在这个阶段,TokenCast作为一个在多个任务套件,代理模型和离线重播中评估的预测和预算技术而出现.关键数字显示了更好的错误以及匹配完成下较低的 token 使用率.还有待观察的是这些预测是否会转移到实时代理调度器中,在那里预测间隔可以塑造执行过程中的上下文管理,呼叫限制和预算分配. 更广泛的信号是代理成本控制正在成为一种可模拟的问题:当代理运行时,可以分解,估计和更新 token ,而不是将其视为任务结束时不可避免的惊喜.