搜索

PixelUMM 开源：用原始像素统一图像与视频的理解、生成（在新窗口打开）

英伟达与滑铁卢大学提出 PixelUMM，以线性投影将图像块和视频时空块接入多模态主干，统一理解与生成而不使用 ViT、VAE。论文比较 patch 大小、输出头和训练规模等设计，报告了与基线相当的综合表现，也指出像素网格伪影等局限。