AI guides

Yann LeCun连续转发并高度认可的VISReg,到底强在哪?

By Haiyu Wu 博士2 viewsSource: 机器之心
Yann LeCun连续转发并高度认可的VISReg,到底强在哪?

近日,自监督学习新工作 VISReg(Variance-Invariance-Sketching Regularization)获图灵奖得主 Yann LeCun 连续转发并给予高度认可 —— 他在转发时评价道「VICReg begat SIGReg which begat VISReg」(VICReg 孕育了 SIGReg,SIGReg 又孕育了 VISReg),

The full text has not been translated yet. The Chinese original is shown below.

本文第一作者 Haiyu Wu 博士毕业于美国顶级私立学府圣母大学,现在就职于 Altos Labs —— 一家拥有 30 亿美元启动资金,专注研究细胞重激活的初创公司。他的研究方向为,世界模型和多模态模型的稳定性以及泛化能力。其余两位作者分别是布朗大学教授,LeJEPA/SIGReg 的第一作者 Randall Balestriero 和前耶鲁大学教授,现 Altos Labs 的副总裁,Morgan Levine。

近日,自监督学习新工作VISReg(Variance-Invariance-Sketching Regularization)获图灵奖得主 Yann LeCun 连续转发并给予高度认可 —— 他在转发时评价道「VICReg begat SIGReg which begat VISReg」(VICReg 孕育了 SIGReg,SIGReg 又孕育了 VISReg),一句话点明了这条正则化路线的技术传承。能获得 LeCun 如此认可,VISReg 究竟强在哪里?答案在于:它精准命中了 LeCun 长期押注的 JEPA 世界模型的核心难题 ——表征坍塌(representation collapse)。VISReg 将防止坍塌的正则项解耦为「尺度」与「形状」两个独立目标,在不依赖任何启发式训练技巧、也不依赖海量数据的前提下,于 15 个数据集上综合表现超过 7 种主流自监督学习方法;其中仅用约 1/10 的训练数据,即在分布外(OOD)基准上追平 DINOv2。

文章配图

文章配图

  • 论文标题:VISReg: Variance-Invariance-Sketching Regularization for JEPA training
  • 论文地址:https://arxiv.org/abs/2606.02572
  • 代码 / 预训练权重:https://github.com/HaiyuWu/visreg
  • 项目主页:https://haiyuwu.github.io/visreg/

一、研究背景:表征坍塌与正则化的两难

JEPA 世界模型的底层是 Yann LeCun 自 2017 年起持续倡导的自监督学习(Self-Supervised Learning, SSL)。SSL 无需人工标注即可从海量数据中学习通用表征,但普遍面临一个核心难题 ——表征坍塌(representation collapse):模型倾向于把不同输入映射到相同或极少数几个向量上,看似完成了训练,实则未学到有判别力的表征。

为抑制坍塌,主流方法大多依赖一系列启发式技巧(EMA、教师 - 学生网络、停止梯度、冻结层等)。这些技巧使训练变得脆弱、难以调参,也削弱了方法的可解释性与可扩展性。

另一条路线是通过正则项直接约束表征分布。LeCun 团队提出的VICReg将学习目标拆为方差、不变性、协方差三项,用协方差约束各维度之间的相关性;但协方差仅刻画二阶统计量,无法区分「均值、方差相同,而分布形状迥异」的两种表征。其后提出的 SIGReg 基于 Cramér–Wold 定理,用 sketching 技术将整个嵌入分布对齐到标准高斯,从而约束完整的分布形状。然而SIGReg仍存在两个关键缺陷:

  • 坍塌时梯度消失:当表征开始坍塌时,SIGReg 的梯度随之衰减 —— 坍塌越严重、修正信号越弱,模型难以自行恢复;
  • 尺度与形状耦合:未将「幅度大小(尺度)」与「分布形态(形状)」两个独立属性分离,二者在优化中相互干扰,导致在长尾、低质量、低秩数据上适配性较差。

也就是说,在模型最需要梯度信号来逃离坍塌状态时,SIGReg 的梯度恰恰趋近于消失。

这正是 VISReg 要解决的核心问题。

文章配图
文章配图

二、核心方法:将正则项解耦为尺度与形状

VISReg 对 VICReg 与 SIGReg 取长补短:保留 VICReg 的方差项来控制尺度,同时用基于切片 Wasserstein 距离(Sliced Wasserstein Distance, SWD)的 sketching 目标替代协方差项来控制形状,并通过停止梯度将二者彻底解耦。整个正则目标由三部分组成。

1. 尺度正则(Scale Regularization)

第一部分约束每一维的方差,防止幅值坍缩:

文章配图

其关键性质在于:当模型坍缩时,该项的梯度趋近于一个常数,从而保证模型能够稳定地恢复 —— 这恰好弥补了 SIGReg 梯度消失的缺陷。

2. 形状正则(Shape Regularization)

第二部分先归一化以消除尺度影响,再单独约束形状。关键的一步是带停止梯度(stop-gradient, sg)的归一化:

文章配图

这里对标准差 σ 施加停止梯度,使得形状损失的优化不会反过来改变尺度—— 这正是「尺度」与「形状」两个目标真正解耦、互不干扰的机理所在。

归一化之后,再用切片 Wasserstein 距离将分布的几何形状对齐到各向同性高斯:

文章配图

其中 q_N 为标准高斯分位数,w_k 为随机投影方向(即「切片 /sketching」)。其理论依据是Cramér–Wold 定理(论文 Lemma 3.1):* 两个分布相等,当且仅当它们沿单位球面上所有方向的一维投影都相等 *。因此,只要把高维表征沿足够多的随机一维方向切片后逐一对齐到高斯,就等价于在高维空间对齐了整个分布 —— 这使得可以用廉价的一维排序操作刻画完整的分布形状,而非仅仅二阶统计量。

3. 合并目标

第三部分是一个将 batch 均值 μ 拉向原点的中心化损失 L_center = ‖μ‖_2^2。三个正则项按权重组合:

文章配图

预测损失沿用 JEPA / LeJEPA 的不变性目标 —— 让各视角(global + local,共 V 个)的嵌入 z_i 都向全局视角的均值 μ_g 对齐:

文章配图

最后用单一超参 λ 在预测与正则之间平衡,得到完整目标:

文章配图

与 VICReg 的对比:VICReg 同样将正则解耦为方差 + 协方差,但协方差只刻画二阶统计量;VISReg 用基于切片 Wasserstein 的 sketching 目标完整刻画了分布形状,同时保留方差项做尺度控制 —— 既保留了 VICReg 的灵活性,又获得了分布层面的严格性。

仅需约 15 行 PyTorch 代码

该正则目标在实现上非常轻量,核心逻辑只需约 15 行:

def visreg (z, K=64):

# 1. 中心化损失

mu = z.mean (dim=0)

L_center = mu.pow (2).mean ()

# 2. 尺度损失

z_cent = z - mu

std = z_cent.std (dim=0, unbiased=False)

L_scale = (1.0 - std).pow (2).mean ()

# 3. 形状损失:切片 Wasserstein 距离

z_norm = z_cent / (std.detach ())

W = torch.randn (D, K)

W /= W.norm (p=2, dim=0)

p_sorted = torch.sort (z_norm @ W, dim=0).values

u = torch.arange (1, N+1) / (N+1)

target = Normal (0, 1).icdf (u)

L_shape = (p_sorted - target).pow (2).mean ()

return L_scale + L_shape + L_center

计算复杂度与扩展性

在计算与扩展性上,VISReg 同样具备优势。其正则部分的计算复杂度为 O (NDK)(N 为 batch、D 为维度、K 为切片数),对所有扩展因子都是线性的;相比之下,VICReg 的协方差项为 O (ND^2),随维度平方增长。在同等 batch 规模下,VISReg 在单块 H100 GPU 上的运行速度与显存占用均优于 SIGReg。

更重要的是,K 个随机切片可以分摊到多块 GPU 上:在 M 块 GPU 上每块各生成 K/M 个切片,效果等价于单卡生成全部 K 个。实验中,当单卡切片数不足时,改用8 卡、每卡 128 个切片(合计 1024),即可把与「单卡 1024 切片」之间的精度差距从约2.4% 缩小到 0.22%。这意味着扩大训练规模时 K 可保持常数,几乎不增加单卡负担。

文章配图

图:在固定 K 与 D 时,增加 GPU 数量带来的线性探测精度变化。当 K 不足(K = ¼D)时,用 8 倍的 GPU 数量即可把精度补齐到 K = 2D 的水平 —— 这使得在大规模训练中保持常数 K 成为可能。

三、实验结果

回到标题的问题 ——VISReg 到底强在哪里?研究团队在15 个数据集(8 个域内 + 6 个分布外 + ADE20K 稠密预测)上,将 VISReg 与 MoCoV3、DINO、iBOT、I-JEPA、MAE、data2vec 等 7 种主流自监督方法进行了对比,场景涵盖天文、医疗、遥感、纹理、花卉等。答案体现在从识别到分割、生成的多个维度上。

1. 域内(In-Domain)线性探测

为保证比较公平,实验按是否使用启发式技巧分为两组。在不使用任何启发式技巧的一组中,VISReg 领先:ViT-B/16 的域内线性探测精度达75.7%,高于 MAE(75.1%);ViT-L/14 进一步提升至77.0%,高于 LeJEPA(75.6%)。与使用启发式技巧的 iBOT、DINO 相比,VISReg 在常规数据集上仅略低,但在纹理数据集DTD上反超全部方法 —— 这表明其跨域泛化能力源于方法本身,而非人工技巧的堆叠。

2. 分布外(OOD)泛化:全面最优

分布外泛化是比域内精度更严格的检验:依赖启发式的方法常在 ImageNet 域内被充分调优,却未必能迁移到差异较大的新分布。研究团队在覆盖医疗(ChestXRay、RetinaMNIST、OrganAMNIST)、天文(Galaxy10)、遥感(AID)、纹理(DTD) 的 6 个 OOD 数据集上评测,这些数据集与 ImageNet 训练域完全无关。结果显示,VISReg 在所有方法、所有骨干规模上都取得了最佳的平均 OOD 精度,甚至超过部分使用启发式技巧、且骨干更大的方法。

文章配图

图 4:平均 OOD 线性探测精度。VISReg 全面优于 iBOT、DINO、MoCoV3、I-JEPA、MAE、data2vec 等方法。

如图 4 所示,ViT-B/16 的 VISReg 平均 OOD 精度为 70.19%,ViT-L/14 为 70.63%,明显高于 MAE(67.85%),并优于 MoCoV3(69.46%)、DINO(69.56%)、I-JEPA(68.55%)等方法。

3. 数据效率:以 1/10 数据比肩 DINOv2

将 VISReg(ViT-L/14)在 ImageNet-22K(约 1400 万张图像)上预训练后,其 6 个 OOD 数据集的平均精度达72.94%,与在10 倍规模的 LVD-142M(1.42 亿张图像) 上训练的 DINOv2(72.93%) 基本持平。也就是说,VISReg 以约1/10的数据达到了同等水平。(作为对照,同为 ViT-L/14、但仅用 ImageNet-1K 预训练的 VISReg 平均精度为 70.63%。)这说明其学到的表征具有很强的通用性。

文章配图

图 5:在 ImageNet-22K 上预训练的 VISReg,在 OOD 基准上比肩用 10 倍数据(LVD-142M)训练的 DINOv2。

4. 迁移微调:全面超过 DINO

尽管 VISReg 在部分域内数据集上的线性探测精度略低于 DINO,但经过微调后,它在 CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10 全部五个数据集上均超过 DINO 与有监督预训练—— 这表明其表征分布更均匀、冗余更低、可迁移性更强。

文章配图

图:迁移学习对比。微调后,VISReg 在所有测试数据集(CIFAR-10、CIFAR-100、Flowers、ImageNet-1K、Galaxy10)上都优于 DINO 与有监督预训练。

5. 稠密预测与生成引导

VISReg 的优势不局限于分类。在ADE20K 线性语义分割上(ViT-B/16),其 mIoU 为30.16,高于 DINO(29.40)与 MAE(23.60),仅次于 MoCoV3(31.69);在不使用任何启发式技巧的前提下,这一结果具有竞争力。论文亦坦言,稠密预测与最佳方法仍有差距,是后续优化的重点。

文章配图

图 7:ADE20K 上的线性语义分割。在不使用任何启发式技巧的情况下,VISReg 取得了具有竞争力的 mIoU,仅次于 MoCoV3。

在生成引导上(SiT-B/2,iREPA 框架,10 万步训练),由 VISReg 特征引导的生成在四项指标中的三项优于 DINO:gFID40.36(DINO 41.15)、Precision51.38(DINO 50.51)、Recall61.26(DINO 60.70),IS 基本持平(33.48 vs 33.47)。这说明 VISReg 学到的表征作为生成引导信号同样更优。

文章配图

图 8:使用 SiT-B/2、分别由 VISReg 与 DINO 特征引导的图像生成。VISReg 在多数指标上都提供了更好的引导(更低的 gFID、更高的 Precision 与 Recall)。

6. 低质量数据上的鲁棒性

在长尾分布(ImageNet-LT)与低秩(Galaxy10) 等低质量数据集上,VISReg 能稳定地防止坍塌并学到有意义的表征,而 DINO 在缺乏精细调参时直接失败。

表 1:ImageNet-LT 上的线性探测精度(ViT-S/8,从头训练 400 epoch;* 表示增大形状损失的权重)

文章配图

DINO 在长尾数据上几近完全失败(Overall 仅 5.13%),而 VISReg* 取得了全面最优。

表 2:Galaxy10 上的域内线性探测精度(从头训练,测试低秩任务;* 表示增大形状损失的权重)

文章配图

SIGReg、SWD、VISReg 都能成功避免训练坍缩并取得良好精度,而 DINO 难以学到有意义的特征。

四、结论

VISReg 表明:将表征正则解耦为「尺度」与「形状」两个独立组件,可以得到一种比现有方法更稳定、更高效、泛化性更强的自监督学习方法。在不使用任何训练启发式技巧的前提下,它在图像识别、分割与生成引导等多个维度上取得了领先或接近领先的结果,并以约 1/10 的数据达到了 DINOv2 的 OOD 水平。这为 JEPA 世界模型长期存在的表征坍塌问题提供了一种新的正则化解法。

文章来自于"机器之心",作者 "Haiyu Wu 博士"。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)