对代理黑盒优化的洞察:对LLM个代理进行基准测试

超级描述:AgenticBBO-Bench在五个黑盒优化领域测试了LLM名代理.代理人在四个域中击败了经过测试的数值优化器,并且代码可用.

标签:AgenticBBO-Bench, LLM个代理商,黑盒优化

特色图像:优化景观,连接的评估路径和代理决策循环的抽象技术插图,没有人,标志或文本.

背景

黑盒优化要求系统在没有看到目标的内部公式的情况下改进解决方案.相反,它评估候选答案,接收分数并决定下一步尝试什么.当直接梯度或分析快捷方式不可用时,这种模式会出现,因此搜索策略的质量成为中心.AgenticBBO-Bench被引入用于将LLM个代理与统一设置中的数字优化器进行比较.

发展过程

该基准涵盖了五个黑子优化领域.它测试基于语言的代理是否可以使用任务语义,工具动作和代反来寻找更好的解决方案.比较还检查了一个实际假设:更多的工具可能并不总是产生更好的优化.在报告结果中,任务语法普遍有用,而特定先验不那么可靠.

最新进展

LLM个代理在五个领域中的四个领域中表现优于经过测试的最佳数值优化器.该项目还报告说,数字优化者可以从代理生成的搜索轨迹获得收益.代码可用于github.com/lamda-bbo/agentic-bbo.下一个需要关注的信号是代理轨道能否超越这个基准来加强常规优化者的程度.