AI guides

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

By 机器之心1 viewsSource: 机器之心
拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

在迈向通用人工智能的道路上,我们一直在思考一个问题:现有的 Image Editing Agent,真的「懂」修图吗?

The full text has not been translated yet. The Chinese original is shown below.

在迈向通用人工智能的道路上,我们一直在思考一个问题:现有的 Image Editing Agent,真的「懂」修图吗?

大多数基于 LLM/VLM 的智能体,本质上更像是一个「盲目的指挥官」。它们能流利地写出修图代码或调用 API,但在按下回车键之前,它们看不见画布上的变化,也无法像人类设计师那样,盯着屏幕皱眉说:「这张对比度拉太高了,得往回收到一点。」这种感知与决策的割裂,直接导致了「指令幻觉」,或者说模型在进行盲目的「脑补」。由于缺乏视觉反馈,模型往往凭空想象下一步操作,导致结果与用户的初衷南辕北辙。

此外,在传统强化学习中经常依赖于静态的奖励模型。随着模型的不断训练,它很容易学会如何「讨好」这个固定的打分器,导致Reward Hacking——即分数很高,但审美并没有真正提升。

为了打破这一僵局,JarvisEvo应运而生。它不仅仅是一个连接 Adobe Lightroom 的自动化工具使用者,更是一次大胆的探索:探索 Agent 如何通过「内省」,真正实现自我进化。

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

  • 论文标题:JarvisEvo: Towards a Self-Evolving Photo Editing Agent with Synergistic Editor-Evaluator Optimization
  • 论文地址: https://www.arxiv.org/pdf/2511.23002
  • 项目主页: https://jarvisevo.vercel.app/
  • Github:https://github.com/LYL1015/JarvisEvo
  • Huggingface Daily Paper:https://huggingface.co/papers/2511.23002
  • 作者团队来自腾讯混元和厦门大学:Yunlong Lin*, Linqing Wang*, Kunjie Lin*, Zixu Lin*, Kaixiong Gong, Wenbo Li, Bin Lin, Zhenxi Li, Shiyi Zhang, Yuyang Peng, Wenxun Dai, Xinghao Ding♣, Chunyu Wang†, Qinglin Lu†

核心范式转移:

从「执行者」到「思考者」

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

JarvisEvo 的核心哲学在于模仿人类专家的慢思考模式。一个资深修图师的工作流永远是闭环的:观察原图 -> 构思 -> 尝试调整 -> 观察结果 -> 评估/反思 -> 再调整。我们将这一直觉转化为三大技术支柱:

iMCoT:让思维链「长出眼睛」

传统的思维链 (CoT) 是纯文本的独角戏。JarvisEvo 引入了iMCoT (Interleaved Multimodal Chain-of-Thought),将视觉反馈强行插入推理循环。

  • 打破黑盒:每执行一步工具(例如调整色温),系统立刻生成中间渲染图。
  • 动态规划:模型不再是一次性生成所有步骤,而是基于当前的视觉状态来决定下一步。它能「看到」上一具体操作带来的过曝或偏色,并即时修正。

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

SEPO:左手画图,右手打分

这是 JarvisEvo 最「性感」的设计。既然外部奖励模型容易被 Hack,那为什么不让 Agent 自己训练自己的审美?我们提出了SEPO (Synergistic Editor-Evaluator Policy Optimization),让模型在训练中分饰两角:

  • 编辑者 (Editor):负责干活,目标是修出好图。
  • 评估者 (Evaluator):负责挑刺,目标是精准打分。

这就形成了一种类似 GAN 但更复杂的协同进化:编辑者为了拿高分,必须提升修图质量;评估者为了不被人类专家「打脸」,必须提升鉴赏能力。为了防止模型「作弊」(即模型发现只要生成「100 分」的文本就能降低 Loss),我们设计了SLM (Selective Loss Masking)机制。这相当于老师在改卷时,遮住了学生自己写的「我给自己打满分」那一行,迫使学生只能靠前面的解题过程(推理和工具使用)来真正赢得高分。

On-Policy Reflection:从错误中提炼智慧

JarvisEvo 的第三个杀手锏是它的反思机制。

在 Stage 2 的训练中,我们构建了一个自动化流水线:当模型偶然修出了一张好图(高分轨迹),而之前某次尝试失败了(低分轨迹),系统会立刻捕捉这组对比。

通过引入「导师模型」(如 Gemini/GPT-4),我们让系统分析:「刚才那次为什么失败?是因为白平衡参数太激进了吗?」

这种生成的反思数据 (Reflection Data)被用于第三阶段的微调。最终,JarvisEvo 习得的不仅是「如何修图」,更是「当修坏了时如何自救」。

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

硬核工程:ArtEdit 数据集与训练流水线

为了支撑这套逻辑,我们没有使用通用的微调数据,而是从零构建了 ArtEdit:

  • 170K 专业样本:覆盖从风光到人像的 10 大类摄影场景。
  • 全工具链覆盖:完美映射 Adobe Lightroom 的 200+ 个参数。
  • 双视角数据:既有修图轨迹 (ArtEdit-Lr),也有人类专家的审美评分 (ArtEdit-Eval)。

我们的训练并非一蹴而就,而是采用了类似人类学习的三阶段课程 (Curriculum Learning):

  • 冷启动 (SFT):先学会工具怎么用,语法怎么写。
  • 协同进化 (RL/SEPO):扔掉标准答案,在自我探索中通过「左右互搏」提升上限。
  • 反思微调 (Reflection):针对易错点进行特训,学会自我纠错。

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

实验结果

ArtEdit-Bench 评测结果

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

在严苛的ArtEdit-Bench评测中,JarvisEvo 展现了统治力:

  • 内容保真度:相比商业模型 Nano-Banana,L1/L2 误差降低了44.96%。这意味着它在修图时不会破坏原图的画质细节。
  • 人类偏好:在盲测中,JarvisEvo 取得了49%的胜率,远超 Nano-Banana 的28%。
  • 审美对齐:更有趣的是,作为「裁判」,JarvisEvo 对图片质量的打分与人类专家的相关性 (SRCC 0.7243) 甚至超过了 Gemini-2.5-Flash。

视觉效果

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

在视觉效果上,JarvisEvo 专为细粒度专业调色而生。得益于其深度的意图理解、多模态推理以及独特的自我反思闭环,JarvisEvo 在处理复杂修图需求时,展现出了超越当前所有商业及开源 AIGC 模型的显著优势。

JarvisEvo vs. OpenAI X Adobe PhotoShop

拒绝「盲修」:JarvisEvo 如何让 Agent 像人类一样拥有「视觉反思」能力?

出于好奇跑了一下 OpenAI 的新功能,虽然能调 PS,但感觉更像是 Workflow 的搭建,缺乏垂直数据的 Training。在我们的 Benchmark 上,论指令遵循和修图审美,目前的 JarvisEvo 表现明显还是要更好很多。

结语:

不仅是修图

JarvisEvo 的意义远超图像编辑本身。 它验证了一种「Actor-Critic 协同进化」的通用范式。这种让模型在内部建立「自我批评家」,并通过多模态反馈不断修正行动路径的方法,完全可以复用到复杂代码生成、数学推理、机器人控制等需要长程规划的领域。

我们正在见证 Agent 从「听话的执行者」向「会反思的创作者」的惊险一跃。而 JarvisEvo,刚刚迈出了这一步。

文章来自于“机器之心”,作者 “机器之心”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)