AI guides

UMM-Reflection 训练模型自己诊断和改图,推理时无需外部评分

By 机器之心1 viewsSource: 机器之心
UMM-Reflection 训练模型自己诊断和改图,推理时无需外部评分

研究团队在 BAGEL 上训练多轮反思与修改。在其测试中,初始错误图像的修复率从 20.6% 升至 64.9%,代价是最多生成四张图像。

The full text has not been translated yet. The Chinese original is shown below.

统一多模态模型既能看图,也能画图,那么它能不能像人一样,画完之后自己检查、发现问题、再动手改?

来自南洋理工大学、上海交通大学和东京大学的研究者给出了一个肯定的回答。他们提出 UMM-Reflection,在开源统一模型 BAGEL 上用强化学习训练完整的「反思—修改」多轮轨迹:同一个模型写出诊断,再按诊断重画,推理时不再需要任何外部打分器。

经过强化学习,模型对初始错误图像的修复成功率从 20.6% 提升到 64.9%,GenEval 从 0.72(反思 SFT)提升到 0.84,其中空间位置一项从 0.47 跃升到 0.89;在训练中从未见过的 WISE 上提升 11 个点,比直接对生成器做强化学习高出近 20 个点。代码、模型与训练数据均已开源。

  • 论文标题:Learning Native Reflection in Unified Models with Interleaved Reinforcement Learning
  • 论文链接:https://arxiv.org/abs/2609.35767
  • 项目主页:https://waltstephen.github.io/UMM-Reflection/
  • 代码:https://github.com/waltstephen/UMM-Reflection
  • 模型与数据:https://huggingface.co/collections/YijiaFan/umm-reflection-6ab95afe909092518d70a158
  • 作者:Yijia Fan*, Ziqi Huang*, Zhongang Cai, Yan Li, Zimo Wen, Wanqi Yin, Haiwen Diao, Ziwei Liu(*共同一作;Ziwei Liu 为通讯作者)
  • 单位:南洋理工大学、上海交通大学、东京大学
  • 视频:UMM-Reflection 中文讲解(2 分 51 秒)。

文章配图

核心结果一览

  • 修复成功率提升到 3 倍以上:初始生成错误的图像中,反思 SFT 模型只能修好 20.6%,强化学习后达到 64.9%。
  • GenEval 提升 12 个点(0.72→0.84):空间位置 0.47→0.89(+42),颜色属性绑定 +14,计数 +10。三种模型的初始图像准确率几乎相同,增益全部来自反思轮次。
  • 迁移到训练中从未见过的基准:WISE 0.63→0.74,T2I-CompBench++ 0.50→0.55,OneIG 0.79→0.83。
  • 同样的 RL 预算直接训练生成器(直接文生图 RL):GenEval 只到 0.76,WISE 甚至低于 Base;UMM-Reflection 在 WISE 上比它高 19.8 个点。
  • 推理时不依赖任何外部批评者或验证器:看图、诊断、修改与停止全部由同一个模型完成。

一、能看也能画,却不会改自己的图

随着文本指令越来越复杂,一次生成的图像常常带着错误:位置关系反了、数量不对、颜色绑定错了对象。传统文生图模型无从察觉这些错误,更谈不上修复。统一多模态模型(UMM)把视觉理解与图像生成放进同一个网络,理论上「画图的模型也能看图」,于是有可能复现大语言模型里常见的自我纠错闭环:检查、诊断、修改。

现有工作大致沿两条路线推进。一条路线把强化学习用在单次生成上,例如先写文本规划再出图,或者用模型自己对成图的理解作为奖励,但模型从不回头修改已经画出的图。另一条路线让模型在中间图像上继续推理和编辑,但主要依赖对合成轨迹的监督模仿(SFT)。也有工作用强化学习训练多轮重新生成,但各轮相互独立,不继承之前的上下文。

研究者关心的问题是:模仿学习到底教会了模型什么,又缺了什么?

二、关键观察:SFT 学会了「改」,却改不准

研究者先构造了 29,529 条多轮反思轨迹,对 BAGEL 做反思 SFT。结果显示,SFT 学到的远不止格式:95% 的轨迹遵守反思协议,并且对训练集中初始错误的图像各采样 16 条轨迹时,有 78% 的图像至少存在一条正确修复的路径。也就是说,有效的修改已经存在于模型的能力范围之内。

问题在于可靠性。只看单条轨迹,SFT 模型只能修好 20.6% 的初始错误图像,三轮反思在 GenEval 上总共只带来约 2 个点的提升,而且第一轮之后就基本停滞。如图 1 左上所示,SFT 的修改常常在原地打转:先挪领带,再挪狗,又挪回领带,最终仍然是错的。

文章配图

图 1:同一提示词与随机种子下,SFT 与 RL 的反思轨迹对比。SFT 已能写出有意义的修改,但单条轨迹常常绕圈;整轨迹 RL 让策略集中到能够抵达「正确图像区域」的修改路径上。

这意味着,从「会改」到「改得对」之间缺的是一种结果驱动的信号:一次反思是否有用,要等它触发的图像生成出来,甚至再过几轮之后才能知道。

三、方法:在同一个模型里,用整条轨迹做强化学习

研究者把这种由统一模型自身完成的多轮「检查—诊断—修改」行为称为原生反思(native reflection)。由于诊断文本与修改后的图像出自同一组参数(文本头负责写诊断,flow 头根据诊断重新渲染),同一个结果奖励可以沿着同一条轨迹同时更新两者。训练分为两个阶段。

第一阶段:反思 SFT 冷启动。

每一轮,模型观察原始请求、此前全部的图文历史和当前图像,输出结构化反思(THINKING / ACTION / EDIT),选择继续编辑或停止。训练数据由外部模型合成:GPT-5.5 担任批评者,Qwen-Image 与 Qwen-Image-Edit 负责生成与编辑,BAGEL 本身不参与,以免把它自己的失败模式蒸馏回监督信号。数据涵盖一次成功、自然修复、多步规划三类轨迹,提示词与所有评测基准无重叠。

第二阶段:整轨迹强化学习。

核心有两个设计:

(1)共享初始图像的采样。对每个请求只生成一张初始图像并将其从计算图中分离,再从这张完全相同的图出发采样 16 条完整的反思轨迹。这样组内相对优势比较的是不同反思策略的好坏,而不是谁的初始图像运气更好。

(2)一条轨迹,一个优势。每条轨迹只计算一个结果驱动的优势值,同时更新其中所有反思 token 和 flow 生成步骤。这样既避免了逐轮分配信用所需的指数级 rollout,也不需要额外训练价值模型。

文章配图

图 2:UMM-Reflection 的强化学习流程。16 条轨迹共享同一张初始图像,每条轨迹交替进行模型自身的反思与渲染(最多三轮);冻结的验证器为每张图和每条轨迹打分,组内归一化后得到一个轨迹级优势,同时更新文本头与 flow 头。验证器仅在训练时使用。

奖励方面,冻结的验证器为每张图像给出 0 到 1 之间的分级分数,部分修复也能得到非零的进步信号。轨迹奖励同时考虑最终图像质量、每一轮的改进幅度,以及对「把对的改错」的惩罚。验证器只在训练时使用,推理时模型完全依靠自身完成反思与停止决策。

四、实验:提升集中在反思轮次,并能迁移到未见基准

所有对比都使用同一个 BAGEL 骨干、相同的提示词、分辨率与评分器。RL 只在 GenEval 六类任务的 3,000 条训练提示上进行,评测则覆盖全部 553 条 GenEval 官方提示,以及训练中从未出现的 WISE、OneIG-Bench 与 T2I-CompBench++。

文章配图

表 1: 同一评测协议下的主要结果(0–1 分)。

在 GenEval 上,UMM-Reflection 相比反思 SFT 提升 12 个点,其中最依赖修正构图的空间位置(position)一项从 0.47 提升到 0.89,颜色属性绑定和计数也分别提升 14 和 10 个点。值得注意的是,Base、SFT 与 RL 三者的初始图像准确率几乎相同(70–73),初始生成本身不接受 RL 梯度,因此增益来自反思轮次而非更好的第一张图。逐提示配对统计显示,RL 在 109 条提示上胜过 SFT,仅在 38 条上落后(McNemar 检验 p < 1e−8);若只比较初始图像,两者没有显著差异。

文章配图

表 2: GenEval 分项结果(553 条官方提示,0–1 分)。

在训练中从未使用的三个基准上,同一检查点相比反思 SFT 依然分别提升:WISE +11.0、T2I-CompBench++ +4.6、OneIG +3.5。其中在 OneIG 上,单纯的 SFT 甚至略低于 Base。

文章配图

图 3:GenEval 准确率随反思轮数的变化。SFT 的三轮反思合计约 +2 个点,且在第一轮后趋平;RL 后仅第一轮就带来约 +9 个点,并持续增益至第三轮。

从测试时扩展的角度看,RL 后模型的条件修复率(初始错误的图像最终被修好的比例)从 20.6% 提升到 64.9%。代价是推理时最多需要生成 4 张图像,因此研究者也在相同的四图预算下做了对照。

五、效果展示

下面是 UMM-Reflection 在四个基准上的多轮反思结果。每一行从左到右依次是初始图像和三轮反思后的修改结果,模型逐步修正空间关系、颜色、材质、数量和世界知识方面的错误。

文章配图

图 4:四个基准上的反思轨迹(初始图像 → 第 1、2、3 轮修改)。

六、消融:只训生成器、只训一个头,都不够

一个自然的疑问是:如果把同样的强化学习预算直接花在生成器上会怎样?研究者用相同的 1,000 步 RL 更新直接优化文生图(直接文生图 RL)。它能把单次生成的 GenEval 从 71 提到 76,但几乎不迁移:WISE 只有 54(Base 为 55),而 UMM-Reflection 分别达到 84 和 74。论文中的完整消融如表 3 所示。

文章配图

表 3: GenEval 消融(0–100 分)。初始:第一张图的准确率;最终:反思结束后的准确率;修复率:初始错误的图像最终被修好的比例。

几组对照指向同一个结论:反思 SFT 本身只带来 2 个点;只训 flow 头或只训文本头分别只到 73 和 78,联合优化整条轨迹才达到 84。在相同的四张图预算下,从直接 RL 模型的四次采样中挑选最佳图像只能到 80,强制 SFT 模型每轮都修改也只有 72,说明增益并非来自「多画几张」,而是来自学会了哪些修改真正有效。

七、RL 究竟改变了模型的什么?

为了理解增益的来源,研究者把全部 553 条轨迹分别送入 Base、SFT 和 RL 三个检查点,在模型内部训练线性探针来读出「这张图是否正确」。结果显示,RL 几乎没有改变模型对正确性的内部判断:理解分支上的探针 AUC 在三个检查点上都在 0.80–0.82 之间。

真正改变的是图像在这个内部空间里的去向。对于初始错误的图像,经过三轮反思后落入「正确区域」的比例,在 RL 下从 34% 提升到 62%,而在 SFT 下只是从 36% 提升到 42%。换言之,模型本来就「知道」自己的图对不对,RL 教会它的是据此行动:在 SFT 已经能产生的众多修改中,选出那些真正能把错误图像推向正确区域的路径。

文章配图

图 5:初始错误图像在模型自身正确性读出空间中的轨迹。横纵轴分别为理解分支与生成分支上「是否通过验证」的线性探针得分;绿色区域为通过验证的参考图像。左两幅为 RL 从第 0 轮到第 3 轮,右两幅为 SFT。

八、总结

这项工作表明,对统一多模态模型而言,「SFT 冷启动 + 整轨迹 RL」这一在大语言模型后训练中被广泛验证的范式,同样可以迁移到原生的多轮视觉自我修正上:SFT 让模型学会反思的格式与有意义的修改,RL 则让这些修改变得可靠。由于推理时不依赖任何外部批评者或验证器,模型在一个上下文中自己完成看图、诊断、修改与停止。

需要说明的是,多轮反思会带来额外的推理开销(最多生成 4 张图像);RL 阶段的奖励来自 GenEval 式的组合对齐验证器,训练提示也只覆盖 GenEval 的六类任务,更多维度的奖励仍有待探索。研究团队已开源全部训练与评测代码、RL 与 SFT 模型权重以及 SFT 数据,希望为统一模型上的反思与强化学习研究提供一个可复现的起点。

文章来自于"机器之心",作者 "机器之心"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)