挖掘注意力中的运动线索:无需训练,解锁4D场景重建能力

如何让针对静态场景训练的3D基础模型(3D Foundation Models),在不增加训练成本的前提下,具备处理动态4D场景的能力?
如何让针对静态场景训练的3D基础模型(3D Foundation Models),在不增加训练成本的前提下,具备处理动态4D场景的能力?
来自香港科技大学(广州)与地平线(Horizon Robotics)的研究团队提出了VGGT4D。该工作通过深入分析Visual Geometry Transformer(VGGT)的内部机制,发现并利用了隐藏在注意力层中的运动线索。

作为一种无需训练(Training-free)的框架,VGGT4D在动态物体分割、相机位姿估计及长序列4D重建等任务上均取得了优异性能。

从3D迈向4D的挑战
近年来,以VGGT、DUSt3R为代表的3D基础模型在静态场景重建中表现出色。然而,面对包含移动物体(如行人、车辆)的动态4D场景时,这些模型的性能往往显著下降。动态物体的运动不仅干扰背景几何建模,还会导致严重的相机位姿漂移。
现有的解决方案通常面临两类挑战:
- 计算或训练成本高:
依赖繁重的测试时优化(Test-time Optimization)或需要在大规模4D数据集上进行微调。
- 依赖外部先验:
通常需要引入光流、深度估计或语义分割等额外模块,增加了系统的复杂性。
VGGT4D的核心设想:能否在不进行额外训练的前提下,直接从预训练的3D基础模型中挖掘出4D感知能力?
VGGT内部的潜在运动线索
研究人员对VGGT的注意力机制进行了可视化分析,观察到一个关键现象:VGGT的不同网络层对动态区域表现出截然不同的响应模式。
- 浅层网络:
倾向于捕捉语义上显著的动态物体。
- 深层网络:
则逐渐抑制几何不一致的区域。

这一发现表明,VGGT虽然是基于静态假设训练的,但其内部实际上已经隐式编码了丰富的动态线索。
然而,直接利用标准的注意力图(QKT)效果并不理想,因为它混合了纹理、语义和运动信息,导致信噪比低,使得Easi3R等基于Epipolar假设的方法在VGGT架构上失效。
如何从静态模型中提取运动线索?
VGGT4D提出了一套无需训练的注意力特征挖掘与掩膜精修机制。该方法深入特征流形内部,利用Gram矩阵和梯度流实现了高精度的动静分离。

跨越投影间隙:基于Gram相似度的特征挖掘
研究团队首先分析了标准注意力图AQK=QKT/√C的局限性。由于Q(Query)和K(Key)向量来自异构的投影头,其特征分布存在天然的分布间隙(Distributional Gap),导致Cross-Attention主要响应语义对齐,而运动引起的微小特征扰动容易被掩盖。
为解决此问题,VGGT4D引入了自相似性Gram矩阵来替代。通过在同构潜在分布内计算相似度,运动引起的方差成为了主导信号。模型通过在时间窗口W(t)内聚合不同层级的统计矩(均值S与方差V),构建了动态显著性场:

基于投影雅可比矩阵的梯度流精修
为了解决Attention Map分辨率不足导致的边界模糊问题,VGGT4D引入了投影梯度感知精修(Projection Gradient-aware Refinement)。
定义3D点在视点i下的几何投影残差rd,i,该残差关于3D坐标的梯度∇rd,i包含了极强的边界信息。由于该梯度依赖于投影雅可比矩阵(Projection Jacobians)和深度图的空间梯度,在动态物体边缘处会呈现显著的高频响应。聚合后的梯度能量函数如下所示,结合光度残差项,实现了对动态掩膜的亚像素级锐化:

分布内早期掩膜策略(In-Distribution Early-Stage Masking)
在推理阶段,直接的全层掩膜(Full Masking)会将模型推向分布外(OOD)状态,导致性能下降。
VGGT4D提出了一种早期阶段干预策略:仅在浅层抑制动态Token的Key向量。这种设计既在早期切断了动态信息对深层几何推理的影响,又保证了深层Transformer Block依然在其预训练的特征流形上运行,从而保证了位姿估计的鲁棒性。
表现如何?
研究团队针对动态物体分割、相机位姿估计和4D点云重建三大核心任务,在六个基准数据集上进行了详尽的定量和定性评估:
核心组件评估:动态物体分割性能
实验首先评估了该方法的核心组件:动态物体分割。
定量分析:VGGT4D显著优于其他所有变体,在DAVIS-2016和DAVIS-2017数据集上均达到了最优性能。值得强调的是,即使没有经过任何4D特定的训练,该方法仅基于预训练的VGGT模型即可取得优异结果。虽然Easi3Rmonst3r在DAVIS-all数据集上表现出具有竞争力的召回率,但这主要得益于MonST3R在光流上的后训练,而VGGT4D无需训练。

定性分析:定性结果清晰地展示了基线方法的不足:Easi3R的掩码较为粗糙且遗漏细节;DAS3R倾向于过度分割并渗入静态背景;MonST3R则常常分割不足。相比之下,VGGT4D生成的掩码更加准确,且边界更加清晰。这些结果有力地验证了研究团队的假设:VGGT的Gram相似度统计信息中嵌入了丰富的、可提取的运动线索。

鲁棒性验证:相机位姿估计
强大的基线与持续改进:数据表明,原始VGGT已经是一个非常强大的基线,其自身就优于MonST3R、DAS3R等许多专门的4D重建方法。这表明VGGT的预训练隐式地使其对动态物体具有一定的鲁棒性。然而,这种鲁棒性并不完美。VGGT4D在所有数据集上均持续改进了这一强大的VGGT基线。例如在VKITTI数据集上,VGGT4D的ATE仅为0.164,而MonST3R高达2.272。

长序列鲁棒性突破:在极具挑战性的长序列Point Odyssey基准测试中,VGGT4D在所有指标上均取得了最佳结果,同时保持了高度效率。许多其他4D方法由于内存不足(OOM)错误甚至无法在该500帧序列上运行。这表明VGGT4D提出的显式、无需训练的动态-静态分离方法成功地识别并消除了由运动引起的残余位姿不一致性,从而实现了更稳定、更准确的相机轨迹,尤其是在长且复杂的序列上。

最终目标:4D点云重建质量实验
在DyCheck数据集上的评估显示,VGGT4D在所有重建指标(准确度、完整度和距离)上均取得了最佳性能。与VGGT基线相比,中位准确度误差从0.009降低到0.004,平均距离从0.150降低到0.123。这证明了该方法不仅实现了精准的动静分离,更能实质性提升几何重建质量。


低成本解决大问题
VGGT4D提出了一种无需训练的新范式,成功将3D基础模型的能力扩展至4D动态场景。该工作证明了通过合理挖掘模型内部的Gram相似度统计特性,可以有效解耦动态与静态信息。这不仅为低成本的4D重建提供了新思路,也展示了基础模型在零样本迁移任务中的潜力。
项目主页:https://3dagentworld.github.io/vggt4d/
代码链接:https://github.com/3DAgentWorld/VGGT4D
论文标题:VGGT4D: Mining Motion Cues in Visual Geometry Transformers for 4D Scene Reconstruction
文章来自于“量子位”,作者 “VGGT4D团队”。
Related topics
After reading
Join the AINRK community
Read how to join the community and connect with people working in AI.




