AI guides

霸榜SOTA,蚂蚁开源UI-Venus-1.5,GUI智能体办事时代加速到来

By 机器之心3 viewsSource: 机器之心
霸榜SOTA,蚂蚁开源UI-Venus-1.5,GUI智能体办事时代加速到来

GUI 智能体最近卷到什么程度了?Claude、OpenAI Agent 及各类开源模型你方唱罢我登场,但若真想让 AI 成为 「能在手机和网页上稳定干活的助手」,仍绕不开三大现实难题:

The full text has not been translated yet. The Chinese original is shown below.

GUI 智能体最近卷到什么程度了?

Claude、OpenAI Agent 及各类开源模型你方唱罢我登场,但若真想让 AI 成为 「能在手机和网页上稳定干活的助手」,仍绕不开三大现实难题:

  • 「知识缺失」难题:基础大模型对 GUI 领域的认知依然薄弱 —— 生僻图标、小众应用的操作逻辑等需要补足。
  • 「纸上谈兵」困境:离线训练数据与真实交互环境存在鸿沟,离线看似合理的动作,一到在线任务就翻车。
  • 「多模型协同」障碍:尽管视觉定位、任务规划等领域专家模型各有突破,但多模型协作往往依赖复杂框架,协同成本高。

现在,蚂蚁带来 UI-Venus-1.5:一个遵循「高性能,实战派」设计理念的端到端 GUI 智能体。单个模型即可统一处理定位(Grounding)、移动端(Mobile)与网页端(Web)三大场景,全面支持 40+ 主流中文 App,让 AI 真正走进用户生活。

文章配图

  • 报告标题:UI-Venus-1.5 Technical Report
  • 技术报告:https://arxiv.org/abs/2602.09082
  • 代码:https://github.com/inclusionAI/UI-Venus
  • 模型:https://huggingface.co/collections/inclusionAI/ui-venus
  • 主页链接:https://ui-venus.github.io/UI-Venus-1.5/

文章配图

文章配图

UI-Venus-1.5 构建了一条清晰、系统的训练路径:

通过中期训练(Mid-Training)系统性补足大模型在 GUI 领域的知识短板;利用在线强化学习(Online RL)弥合离线训练与在线执行之间的鸿沟;最终采用模型融合(Model Merge)集成多个领域专家模型的能力。

文章配图

01 中期训练(Mid-Training):

30+ 数据源、10B tokens 锻造 GUI 原生大脑

通用视觉语言模型(VLM/MLLM)并不天然理解 GUI。面对高度结构化、蕴含复杂交互逻辑的用户界面,它们往往缺乏「原生表征能力」—— 看得到,却看不懂;能描述,但不会用。

因此,UI-Venus-1.5 战略性地引入中期训练(Mid-Training)阶段,旨在将通用的 VLM 逐步锻造为真正「懂 GUI」的原生基础模型。UI-Venus-1.5 构建了一个全面、统一的 GUI 中期训练语料库:

  • 整合30+公开及内部数据源(包含 Mind2Web、ShowUI、AITW 等),总规模高达10B tokens。
  • 精心设计了任务策略平衡,覆盖语义感知、GUI-VQA、元素定位、导航推理等关键维度。

文章配图

这一阶段的目标并非追求「看起来会操作」,而是系统性地塑造四项核心基础能力:

  1. 精准的导航与定位:建立从自然语言指令到界面动作或坐标的端到端精确映射。
  2. 严谨的顺序推理:学习将高层目标分解为逻辑清晰、可执行的子步骤。
  3. GUI-VQA:理解控件语义、功能描述与复杂的布局逻辑。
  4. 敏锐的精细感知:无需 OCR 即可识别图标、检测控件状态和理解视觉提示。

02 打造领域专家(Offline RL):

驱动 Grounding / Mobile / Web 专项突破

UI-Venus-1.0 通过在高精领域数据 RFT 技术路线,在定位(Grounding)和移动端导航(Mobile Navigation)两大领域达到了 SOTA 水平。UI-Venus-1.5 在继承该技术路径的基础上,进一步优化专家模型的设计与应用方式:

文章配图

  • 定位能力:UI-Venus-1.0 在目标元素不存在时会猜测定位,虽在 ScreenSpot-Pro、UI-Vision 等基准上得分高,但易引发「幻觉」。为此,UI-Venus-1.5 引入了关键的「拒答」能力。当模型判定目标元素不存在时,将明确返回[-1, -1],表示无法定位。
  • 通用导航能力:为统一移动端与 Web 端操作,UI-Venus-1.5 扩展动作空间,新增鼠标悬停(Hover)、双击(DoubleClick)和快捷键(Hotkey)以适配 Web 交互,同时提供移动端 - 中 / 英文、Web 端 - 英文等场景的优化 Prompt 模板,实现跨语言的高效适配。

03 在线强化学习(Online RL):

从「动作做对」到「任务完成」

在 Mid-Training 和 Offline-RL 阶段,模型在单步动作(Action-level)准确率上已取得显著提升。然而,端到端的轨迹级(Trace-level)任务成功率却并未同步增长。

根本原因在于,这两个阶段的训练信号聚焦「动作是否正确」,而非直接优化「任务是否完成」—— 两者通常正相关,但并不等价。尤其在数据有限时,动作准确率易与任务成功率脱节,导致「动作对、任务错」的精度错配现象。Mid-Training 和 Offline-RL 主要优化 Action-level 的监督信号或回报,缺乏对 Trace-level 成功的直接对齐。因此,单步动作的准确累积,并不必然导向整体任务的完成。

文章配图

UI-Venus-1.5 引入在线强化学习(Online RL),聚焦移动端与 Web 端核心场景,借鉴 T-GRPO 等思路,在真实环境中执行完整轨迹 Rollout 与奖励计算,以「任务是否成功」作为核心优化目标。

04 模型融合(Model Merge):

一个模型,贯通 Grounding / Mobile / Web

当前很多 GUI Agent 采用「多模型协同」路线,即针对不同功能或场景训练独立的专家模型。虽能短期提升单项性能,一旦落地,往往演变为复杂的协同框架,成本激增。

UI-Venus-1.5 采用「先分后合」策略:先分别训练 Grounding、Mobile、Web 三个领域的专家模型(基于 Offline-RL 和 Online-RL),将各自能力练至极致,再通过 Model Merge 技术融合为统一的端到端模型,以降低部署成本,并在合并中最大限度保持各领域性能。

为克服线性合并的局限,UI-Venus-1.5 采用更稳健的TIES-Merging技术,即「先筛选,再合并」。该方法成功融合出统一模型,在ScreenSpot-Pro、AndroidWorld 和 WebVoyager三大跨领域基准上,实现了更均衡、更高效的多能力整合。

05 DaaS:

一个入口管理所有设备,构建大规模在线训练环境

文章配图

实践 Online-RL 才发现:瓶颈往往不在算法,而在异构设备环境 ——Android、浏览器、容器使用不同协议(ADB/CDP/SSH),叠加网络隔离与安全限制,直接对接难以维护。

为此,蚂蚁集团搭建了统一的设备即服务(DaaS)层:

  • 统一协议:将 ADB、CDP 等封装为可扩展插件,上层按需调用。
  • 高并发稳态:基于内部二次哈希路由与协程并发模型,支撑大规模设备长连接与高频请求。
  • 开箱即用:配套多语言 SDK,封装认证、设备申请 / 释放与常用操作。

依托 DaaS 的强大能力,上层训练框架得以像调用标准服务一样灵活使用设备资源 ——千台级异构设备稳定接入,支持超千并发的在线强化学习任务,高效支撑 UI-Venus-1.5 的大规模在线训练与真实场景部署。

06 全方位评测:

真实与标准环境双重验证

为全面评估 UI-Venus-1.5 的通用性与鲁棒性,评测覆盖三大维度:

Grounding 能力(7 个基准):

文章配图

在 VenusBench-GD、ScreenSpot-Pro、UI-Vision 等标准测试集上,UI-Venus-1.5 相比 1.0 版本显著提升,且全面超越同规模模型。

Mobile 端 + Web 端 (在线真实环境):

文章配图

文章配图

在 AndroidWorld、AndroidLab、VenusBench-Mobile 真实场景中,UI-Venus-1.5 于多样化 GUI 智能体任务上均取得了全面 SOTA 的性能。

07 适配 40+ 主流中文 App,融入日常数字生活

UI-Venus-1.5 同时深度聚焦中文用户的真实使用习惯,全面支持 40 余款主流中文应用,涵盖出行、社交、娱乐、购物、生活服务等核心场景,真正实现「听得懂指令、看得清界面、做得对操作」。

无论是「在高德里叫一辆去景区的快车」、「在携程订明天北京到上海的机票」、「把这条微博转发并附评论」,还是「在网易云播放陈奕迅的最热歌曲」,UI-Venus-1.5 均能在真实设备环境中精准理解用户意图,并流畅、准确地完成各类操作。不依赖虚构演示,而是直接运行于用户每日高频使用的 App 中,直面现实场景中的任务挑战。这标志着 UI-Venus-1.5 向成为真正「可用的智能助手」迈出了关键一步。

文章配图

Task 1: 打开七猫免费小说,将小说脑洞榜前三名都加入书架

文章配图

Task 2: 打开微博,搜索杭州天气,并根据天气进行评论

文章配图

Task 3: 打开喜马拉雅,帮我播放疯狂动物城2,设置列表循环播放

结语:UI-Venus-1.5 的路线更像「产品化 GUI Agent」的正确打开方式

UI-Venus-1.5 的价值不在单项指标的炫技,而在于构建了一个更可训练、可部署、可扩展的端到端系统:

  • 中期训练夯实 GUI 原生能力
  • 领域后训练专精 Grounding/Mobile/Web
  • 在线强化学习提升最终任务成功率
  • 模型融合实现单模型跨域通用

UI-Venus-1.5 致力于打造能在手机 / 网页上稳定干活的 AI 助手!

文章来自于微信公众号 "机器之心",作者 "机器之心"

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)