通过利用可扩展的环境和 APP 原生工具,OpenMobile-2构建了多功能移动代理.

标签描述: (中文) 字体: ... " . " " " OpenMobile-2 推出了 MobileGym++,包括35个商业风格的 apps ,总共110多个 apps 和 APP 原生工具,在真实设备移动任务上的性能几乎是2倍.

标签: 一个字母,一个字符号. . . . ,. OpenMobile-2, 移动Gym++, 手机代理, GUI 和 CLI, APP - 原生工具

首选图片: 在线视频, 下载地址: http://www. ![抽象的技术风格,没有人,没有标志,没有文本:移动代理工作空间与 APP ,终端面板和工作流节点]

OpenMobile-2 引入了一个完全围绕环境,数据,基准和模型构建的 open-source 移动代理堆.此次发布之所以重要是因为手机代理进步受到两个限制:训练空间太重而过于狭窄,并且代理主要通过屏幕进行交互而不是 APP 提供的功能.公告将这项工作定位为未来移动-代理实验的基础设施,而不是一个单一模型演示.

背景: emulator 限制和一个110+ APP 游乐场

现有的基于 emulator 的环境是重量级,覆盖范围有限的 apps ,特别是商业化的.为了缩小这一差距,OpenMobile-2引入了MobileGym++,一套35个高保真性,完全可控制的商业风格 apps 与交叉 APP 工作流程.

与基于 emulator 的 apps 一起,MobileGym++形成了一个由110多个不同的8800110组成的开放式游戏场.该游乐场旨在用于可扩展数据合成和代理RL,或者为代理提供 reinforcement learning ,用户可以直接在项目网站上尝试 apps .商用 apps ,通常很难在仅 emulator 的设置中复制,因此将35- APP 组作为一个可控制的训练层呈现出来.

开发:混合GUI和CLI

第二个方向是混合GUI和CLI. 虽然混合计算机的使用正在获得引力,但移动代理在很大程度上仍然局限于GUI交互. OpenMobile-2探索了一个设置,其中移动 apps 暴露了 APP 原生工具. 在该设置中,代理可以将GUI操作和工具调用插入单一任务内.

图形界面交互指的是通过可见的 APP 屏幕执行操作,而CLI式工具调用则是指由 APP 本身暴露的直接命令或函数.这种混合模式更接近实际的工作流程,因为某些步骤可能需要看到屏幕,而另一些可以直接使用 APP .

最新进展:基准,实体设备结果和开放资源

移动Gym++ Bench支持在具有挑战性的商业- APP 任务上进行单独的GUI和混合评估.该项目报告说,OpenMobile-2在既定基准上取得了竞争性结果,并在真实设备上的移动任务中实现了近2倍的性能. 该基准涵盖两种模式,因此读者可以看到当代理必须从视觉控制转向 APP -本机工具使用并回复时是否仍然工作. 真实设备的结果尤其值得注意,因为它们将评价推到模拟任务之外.

一切都是开源的.可用的链接包括 APP 在线试验项目网站,HF Paper条目,主 GitHub 存储库和MobileGym++存储庫.该项目还要求支持 HF Paper upvote 和 GitHub 星.

• 项目:https://os-copilot.github.io/OpenMobile2-Home/
• HF Paper:https://huggingface.co/papers/2610.14157 其他
• GitHub : https://github.com/OpenMobile2/OpenMobile2-Code 其他
• 移动健身房++: https://github.com/OpenMobile2/MobileGym-plusplus

目前阶段

目前阶段是公开的 open-source 发布,而不是封闭的产品推出.它为研究人员提供了一个更大的 APP 游乐场,混合交互模型和商业- APP 任务的基准.接下来要关注的是 APP 原生工具是否改变了移动代理评估以及110+ APP 环境是否支持更具可扩展性的培训工作.