AI guides

谢赛宁REPA得到大幅改进,只需不到4行代码

By Panda1 viewsSource: 机器之心
谢赛宁REPA得到大幅改进,只需不到4行代码

邹忌曾经有一个问题:吾与徐公孰美? 而对于 REPA,也有一个类似的问题:全局信息与空间结构,哪个对表征对齐更重要? 表征对齐(REPA)可通过将强大的预训练视觉编码器的表征蒸馏为中间扩散特征,来指导生成式训练。该方法于去年十月份问世,一直以来都备受关注,已成为加速扩散 Transformer(Diffusion Transformers)训练的一项有力技术。参阅报道《扩散模型训练方法一直错了!谢赛宁:Representation matters》。 但是,其还有一个很基本的问题悬而未决:对生成而言,目标表征的哪个方面更重要?是其「全局」语义信息(例如,以 ImageNet-1K 准确率衡量)

The full text has not been translated yet. The Chinese original is shown below.

邹忌曾经有一个问题:吾与徐公孰美?

而对于 REPA,也有一个类似的问题:全局信息与空间结构,哪个对表征对齐更重要?

表征对齐(REPA)可通过将强大的预训练视觉编码器的表征蒸馏为中间扩散特征,来指导生成式训练。该方法于去年十月份问世,一直以来都备受关注,已成为加速扩散 Transformer(Diffusion Transformers)训练的一项有力技术。参阅报道《扩散模型训练方法一直错了!谢赛宁:Representation matters(在新窗口打开)》。

但是,其还有一个很基本的问题悬而未决:对生成而言,目标表征的哪个方面更重要?是其「全局」语义信息(例如,以 ImageNet-1K 准确率衡量),还是其空间结构(即,图像块 token 之间的成对余弦相似度)?

此前,普遍观点认为,如果使用更强的全局语义性能作为目标表征,可以带来更好的生成效果。

为了研究这一点,Adobe Research、澳大利亚国立大学和纽约大学的一个联合团队对 27 种不同的视觉编码器和不同的模型规模进行了大规模的实证分析。

然后他们得到了一个出人意料的结果:驱动目标表征生成性能的是空间结构,而非全局性能!

谢赛宁REPA得到大幅改进,只需不到4行代码

更令人惊讶的是,基于此发现,他们还构建了一种简单方法(代码实现少于 4 行),即iREPA,其能在各种视觉编码器、模型大小和训练变体(如 REPA、REPA-E、Meanflow、JiT 等)中持续提高 REPA 的收敛速度。

谢赛宁REPA得到大幅改进,只需不到4行代码

  • 论文标题:What matters for Representation Alignment: Global Information or Spatial Structure?
  • 论文地址:https://arxiv.org/abs/2512.10794v1
  • 项目页面:https://end2end-diffusion.github.io/irepa/

本论文的第一作者是 Jaskirat Singh,澳大利亚国立大学二年级博士生,他在 Adobe 实习期间完成了此研究。目前也正在 Meta 实习。

此外,作者名单中还有多位万引大佬,包括 Adobe 资深研究科学家 Richard Zhang、Adobe 高级首席科学家 Eli Shechtman 以及我们熟悉的纽约大学谢赛宁。

下面我们来看看这项研究的具体内容。

反直觉的发现:全局强,不代表生成强

在深入探究之前,我们先来看几个令人费解的现象。

长期以来,研究人员通常假设:一个视觉编码器在 ImageNet-1K 上的分类准确率越高,它提取的特征就越好,用来指导扩散模型生成图像的效果也就应该越好。

然而,论文作者在测试了 27 种不同的编码器后,发现事实并非如此。

该团队举了几个非常有力的反例:

  • SAM2 的逆袭:分割模型 SAM2-S 的 ImageNet 准确率仅为 24.1%,这在分类任务上可以说表现平平。然而,当它被用作 REPA 的目标表征时,其生成的图像质量(FID 分数)竟然优于那些准确率比它高出 60% 的模型(如 PE-Core-G)。
  • 大模型的困境:在同一个模型家族中,更大的参数量通常意味着更高的分类准确率。但在表征对齐中,更大的模型(如 DINOv2-g)并不一定能带来更好的生成效果,有时甚至更差。
  • 画蛇添足的 CLS token:如果强行将包含全局信息的[CLS]token 融合到图像块(patch)特征中,虽然线性探测(Linear Probing)准确率上升了,但生成质量(FID)却显著下降了。

谢赛宁REPA得到大幅改进,只需不到4行代码

这些现象指向了一个结论:更高的验证准确率,并不意味着它是更好的生成表征。

真正的主宰:空间结构

如果不是全局语义信息在起作用,那究竟是什么在驱动生成性能?

作者提出假设:是空间结构,即图像块 token 之间的成对余弦相似度。

为了量化这一指标,作者引入了空间自相似性(Spatial Self-Similarity)的概念。简单来说,就是衡量特征图在空间上的「纹理」和「关系」是否清晰。作者使用了几种不同的度量标准,其中最直观的是LDS(Local vs. Distant Similarity):

谢赛宁REPA得到大幅改进,只需不到4行代码

通俗点说,LDS 衡量的是:在特征空间中,相邻的图像块是否比相距较远的图像块更相似?如果一个编码器能很好地保留这种「近亲远疏」的空间结构,它的 LDS 分数就高。

谢赛宁REPA得到大幅改进,只需不到4行代码

令人震惊的相关性出现了(如上图所示):传统的线性探测准确率(代表全局信息)与生成质量(FID)的相关性极低,皮尔逊相关系数仅为 r = -0.260。而空间结构指标(LDS) 与生成质量的相关性高达 |r| = 0.852!

这完美解释了之前的反例:SAM2 虽然不懂「这张图是猫」,但它极其擅长理解「猫的轮廓在哪里」,因此拥有极佳的空间结构,进而带来了出色的生成效果。

iREPA:不到 4 行代码的改进

既然明确了「空间结构」才是核心,那么与其盲目追求更强的语义编码器,不如想办法在训练过程中强化空间信息的传递。

基于此,该团队提出了iREPA。但其核心改动非常简单,代码实现甚至不到 4 行,主要包含两个修改:

1. 用卷积层替代 MLP 投影层

标准的 REPA 使用 MLP 将扩散模型的特征映射到目标表征的维度。作者指出,MLP 是「有损」的,会破坏 patch 之间的空间对比度。

其改进方法是:将其替换为一个简单的3×3 卷积层。卷积天然具有归纳偏置(Inductive Bias),能够更好地保留局部的空间关系。

2. 引入空间归一化层

作者发现,预训练视觉编码器的 patch token 中往往包含大量的全局信息(就像一层笼罩全图的「雾」),导致前景和背景的 token 居然有不低的相似度。

其改进方法是:既然这层全局均值信息对生成没用甚至有害,那就把它去掉。作者对目标表征引入了一个空间归一化(Spatial Normalization)层,减去均值,除以标准差。这牺牲了全局信息,但极大地增强了 patch 之间的空间对比度。

算法代码如下:

谢赛宁REPA得到大幅改进,只需不到4行代码

效果:提升显著

iREPA 的有效性并非仅停留在理论层面,作者通过一系列大规模实验,证明了这一改进方案具有极强的鲁棒性和通用性。

谢赛宁REPA得到大幅改进,只需不到4行代码

收敛速度更快

对于扩散 Transformer(如 SiT-XL/2)的训练而言,收敛速度就是金钱。实验结果表明,无论使用何种视觉编码器作为「教师」,iREPA 都能显著加速「学生」模型的训练收敛。

从下图可以看到,在各种模型规模(SiT-XL/2, SiT-B/2)和编码器(DINOv3, WebSSL, CLIP 等)下,iREPA 都显著提高了收敛速度 。

谢赛宁REPA得到大幅改进,只需不到4行代码

编码器通用性

通常一种优化方法可能只对特定类型的模型有效,但 iREPA 展现出了惊人的通用性。作者测试了多达 27 种不同的视觉编码器,涵盖了监督学习(如 DeiT)、自监督学习(如 DINOv2, MoCo v3, MAE)以及多模态模型(如 CLIP)。

如下图所示,在横跨所有测试的编码器中,iREPA(红色柱状图)的生成 FID 分数均低于标准 REPA(蓝色柱状图)。

谢赛宁REPA得到大幅改进,只需不到4行代码

可以看到,即使是像 SAM2 这样分类准确率极低(24.1%)的分割模型,在经过 iREPA 的空间增强处理后,其指导生成的 FID 分数甚至优于许多分类强模型。

同时,对于 DINOv3 和 WebSSL 等目前最强的特征提取器,iREPA 依然能进一步压低 FID,提升生成上限。

扩展性:模型越大,收益越高

这是一个非常符合「Scaling Law」趋势的发现。作者探究了 iREPA 在不同规模模型上的表现:

  • 编码器规模:当视觉编码器从 PE-B (90M) 增大到 PE-G (1.88B) 时,iREPA 带来的性能提升百分比也随之增加(从 22.2% 提升至 39.6%)。
  • 扩散模型规模:当生成模型从 SiT-B (130M) 扩展到 SiT-XL (675M) 时,iREPA 带来的相对增益同样在扩大。这意味着,模型做得越大,空间结构的重要性就越显著,iREPA 的价值也就越高。

谢赛宁REPA得到大幅改进,只需不到4行代码

广泛适用性

iREPA 并不仅限于特定的 Transformer 架构,它能无缝集成到各种现有的先进训练流中.

像素空间扩散 (Pixel-space Diffusion):在下图中,作者展示了将 iREPA 应用于 JiT (Just-in-Time) 模型的结果。即使在像素空间操作,强化空间信息传递依然能显著加速收敛.

谢赛宁REPA得到大幅改进,只需不到4行代码

先进配方兼容: 如下表所示,当结合 REPA-E(一种端到端调优 VAE 的方法)或 MeanFlow 等最新技术时,iREPA 依然能稳定地提供额外的性能增益。这说明它触及了生成模型训练的一个底层共性问题,而非仅仅是某种特定设置下的特例。

谢赛宁REPA得到大幅改进,只需不到4行代码

视觉质量有肉眼可见的结构改善

除了枯燥的数据,生成的图像本身最有说服力。

如下图所示,对比标准 REPA 和 iREPA 生成的样本(如鱼、公鸡、猫等类别),可以发现 iREPA 生成的图像在物体轮廓、纹理细节和整体结构的连贯性上都要优于前者。

谢赛宁REPA得到大幅改进,只需不到4行代码

而在下图中,作者可视化了经过卷积投影和空间归一化后的特征图。可以看到,通过 iREPA 处理后,特征图(右侧)明显比标准 REPA(左侧)保留了更清晰的语义边界和空间对比度,前景与背景的区分更加鲜明。

谢赛宁REPA得到大幅改进,只需不到4行代码

该团队也进行了消融实验,验证了各组件的有效性。

谢赛宁REPA得到大幅改进,只需不到4行代码

结语

这篇论文与其说是提出了一种新方法,不如说是通过扎实的实证分析,拨正了社区的关注点。它告诉我们,在利用预训练模型加速生成任务时,不要被「ImageNet 准确率」这一单一指标所迷惑。

对于生成模型而言,理解像素之间的空间关系,远比知道「这图里有只狗」要重要得多。正如作者在文中总结的那样:Spatial structure not global information determines the generation performance.

更多详情请访问原论文。

文章来自于“机器之心”,作者 “Panda”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)