通过演进视觉本地技能增强VLM代理人

标签描述: 字体的类型是什么? (Meta description) ViSkill是一个使用视觉技能卡,几何感知检索, reinforcement learning 和在线技能的闭环蒸.的视觉原生框架.

标签: 一个字母,一个字符号. (TG) " 维斯基尔,VLM代理人, reinforcement learning ,技能提炼,视觉技巧卡

首选图片: 在线视频, 下载地址: http://www. 通过闭环图连接的抽象视觉技能卡,没有人,公司标志或文字.

ViSkill是一个视觉本地技能学习框架,将成功的交互转化为可重复使用的视觉技巧卡.这很重要,因为VLM代理需要可以检索,训练和更新的记忆和策略,以便代理人和技能库一起改进.

背景:VLM代理人的视觉技能卡

视觉语言模型代理通常从图像,提示和反中采取行动.技能卡为每个成功的交互提供了视觉形式,因此以后的任务可以将其作为示例或指南重复使用.

发展进程:三种关联机制

该论文将三个组成部分结合在一个封闭的循环中:几何意识检索,技能引导 reinforcement learning 和在线技巧蒸.. 检索选择相关卡片; reinforcement learning 使用它们来训练行为;蒸随着新经验到达而更新图书馆.

目前阶段:提案和代码

提供的源代码列出了 https://github.com/ZJU-REAL/ViSkill,但不包括日期,基准结果或部署细节. ViSkill 正处于提案和代码阶段,下一个问题是代理人和技能库是否在各个任务中得到可衡量的改进.