AI guides

苹果Personal Agent新研究:能帮你干活儿,不等于真了解你

By 张佳怡2 viewsSource: 学术头条
苹果Personal Agent新研究:能帮你干活儿,不等于真了解你

苹果团队提出 iPrefBench,在可执行的 iOS 环境中评估 Agent 何时应从历史推断偏好、何时需要询问用户。实验显示,完成操作与符合个人意图并不相同;增加澄清可减少漏问,也可能带来多余打扰。

The full text has not been translated yet. The Chinese original is shown below.

Personal Agent 目前已经能够独立完成许多复杂操作,但在决策时仍面临一个问题:什么时候应该直接推断,什么时候需要向用户追问。

例如,用户要求预订平时常去的餐厅,Agent 可以从历史记录中判断是哪家餐厅,也能识别出需要确认的聚餐时间和人数。如果擅自猜测,可能偏离用户的真实意图;如果连历史记录中已经明确的信息也反复追问,又会让自动化流程变得冗长,降低使用效率。

在这项工作中,苹果团队提出了iPrefBench,专门评估移动端 Agent 在这类模糊请求中的“推断与询问”能力。该基准运行在可执行的 iOS 环境中,包含 26 个应用、130 个未完全指定的任务,以及围绕同一用户构造的 3051 条活动记录。Agent 只能从用户历史中获得既有信息,并可通过 ask_user 动作向模拟用户提问。

文章配图

论文链接:https://arxiv.org/abs/2610.34735

iPrefBench 的核心设计,是为每一项被省略的用户相关信息标注唯一来源。一类信息能够从历史活动中恢复,例如用户惯常选择的餐厅、座位或出行方式;另一类信息只能由用户在当前情境下提供,例如这次聚餐的时间和人数。Agent 必须先识别任务中哪些决策仍未确定,再判断这些决策应该从历史中推断,还是通过提问获得。

文章配图

图|iPrefBench 同时评估推断偏好与主动询问能力

这一区分补上了传统计算机使用 Agent 评测中的一个空缺。许多评测使用信息完整的任务,Agent 无需推断,也无需提问。另一些个性化评测提供用户历史,却不允许 Agent 与用户交互;交互式评测则允许提问,但没有足够的用户历史来判断某个问题是否多余。iPrefBench 将两种信息源放进同一环境,分别衡量任务是否完成、是否符合特定用户,以及 Agent 是否只在必要时打扰用户。

研究团队使用同一套移动端 Agent Harness 评估了 7 个前沿模型。结果显示,Agent 的执行能力和个性化能力之间存在明显差距。表现最好的 Claude Opus 5,动作完成率达到 91.6%,但完整任务成功率只有 47.7%。Agent 往往能够完成预订、购买或填写等操作,却未必做出了符合该用户意图的选择。

文章配图

图|iPrefBench 基准上的主要结果

所有受测 Agent 在处理必须通过询问用户才能获取的信息时,表现都明显较弱。以 Claude Opus 5 为例,对于能够从历史记录中推断的信息,其任务完成率为 76.3%;对于必须向用户询问才能获得的信息,完成率则降至 51.3%。

整体来看,各 Agent 平均每个任务只发起 0.08 至 0.35 次询问,而每个任务平均包含 0.89 项必须向用户确认的信息。对于这类信息,询问召回率最高仅为 44.3%。这表明,Agent 经常在需要向用户确认时,直接做出决定。

不过,询问次数少只是问题的一部分。各模型的询问精确率介于 60.4% 至 77.1% 之间,说明它们提出的问题中,仍有相当一部分并无必要,例如相关答案已存在于历史记录中,询问内容与当前任务无关,或重复询问已有信息。因此,Agent 需要具备的关键能力,是准确判断哪些信息可以从现有记录中推断,哪些信息确实需要向用户确认。

研究团队还设计了三类扰动任务,用来测试 Agent 是否会盲目照搬历史偏好。第一类是当前指令与长期习惯冲突;第二类是近期行为显示偏好已经变化;第三类是原本偏好的选项在当前环境中不可用。评测结果显示,Agent 在前两类任务中的个性化得分低于整体水平,而环境扰动反而促使它们明显增加提问。当首选项无法使用时,Agent 平均发起的问题数量达到原来的 2.3 倍,对只能询问的信息的处理也有所改善。

文章配图

图|iPrefBench 三类扰动任务子集上的表现

错误分析进一步揭示了四种典型失败。面对只能询问的信息,Agent 有时意识到信息缺失,却仍然自行猜测,有时甚至没有把缺失信息识别为需要决策的事项,直接沿用应用默认值。面对能够从历史推断的信息,Agent 也可能完全没有发现相关偏好,或发现后却从历史中得出了错误结论。研究团队认为,当前 Agent 面临两个相互关联的难题:先找出所有尚未解决的用户相关选择,再为每个选择决定应当推断还是询问。

文章配图

图|个性化失败在两个维度上的分布

研究团队还测试了一个执行前澄清阶段,让 Agent 在开始操作前集中识别疑点并提问。实验结果显示,Claude Sonnet 5 加入该阶段后,完整任务成功率从 39.2% 提升到 53.8%,对只能询问信息的处理得分从 25.7% 提升到 85.0%;但询问精确率从 60.4% 降至 42.5%,平均每个任务的问题数量从 0.24 个增加到 1.37 个。Qwen3.8-27B 也出现类似变化。提前澄清能够减少漏问,却同时增加了不必要的问题。

文章配图

图|在执行前加入明确澄清阶段对Claude Sonnet 5 和 Qwen3.8-27B 的影响

用户历史的数量也并非越多越好,实验显示,提供少量与任务相关的历史事件,就能明显改善可推断偏好的处理;继续加入完整历史并不会带来同等幅度的收益。更多历史有助于 Agent 避免询问那些已经能够推断的信息,却没有帮助它发现哪些信息仍然只能由用户提供,甚至可能降低对这类信息的询问召回率。

文章配图

图|向 Agent 上下文提供不同数量用户历史记录的影响

iPrefBench 揭示了当前移动端 Agent 面临的一项普遍挑战:它们已经能够较好地执行界面操作,却仍不擅长处理用户意图中的未知信息。真正个性化的 Agent,需要结合历史记录与当前情境理解用户需求,既要避免机械套用过去的习惯,也要减少不必要的追问。如何在自主执行与主动确认之间做出准确判断,是提升 Agent 个性化能力的关键。

更多技术细节,详见原论文。

文章来自于"学术头条",作者 "张佳怡"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)