AI guides

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

0 views
SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

在3D内容创作领域,如何像玩乐高一样,自由生成、编辑和组合对象的各个部件,一直是一个核心挑战。香港大学、VAST、哈尔滨工业大学及浙江大学的研究者们联手,推出了一个名为 OmniPart 的全新框架,巧妙地解决了这一难题。该研究已被计算机图形学顶会 SIGGRAPH Asia 2025 接收。

The full text has not been translated yet. The Chinese original is shown below.

在3D内容创作领域,如何像玩乐高一样,自由生成、编辑和组合对象的各个部件,一直是一个核心挑战。香港大学、VAST、哈尔滨工业大学及浙江大学的研究者们联手,推出了一个名为 OmniPart 的全新框架,巧妙地解决了这一难题。该研究已被计算机图形学顶会 SIGGRAPH Asia 2025 接收。

如今,从游戏、VR到数字孪生,高质量的3D世界构建变得至关重要 。尽管现有的AI模型能够生成令人惊叹的3D整体形状,但它们大多是“一体式”的模型,缺乏内在的部件结构。这种结构上的不透明性,极大地限制了模型在部件编辑、动画制作、材质分配等关键应用中的价值 。

为了破解这一难题,研究者们提出了OmniPart,一个创新的“部件级别”3D生成框架。它的核心思想是将复杂的生成任务解耦为两个协同工作的阶段:“先规划,后生成”,在保证部件之间高度独立(语义解耦)的同时,也确保它们能完美地组合成一个整体。

  • 论文题目:OmniPart: Part-Aware 3D Generation with Semantic Decoupling and Structural Cohesion

  • 项目主页:https://omnipart.github.io/

  • 代码下载:https://github.com/HKU-MMLab/OmniPart

  • Huggingface demo: https://huggingface.co/spaces/omnipart/OmniPart

效果展示

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

OmniPart 以简单的2D图像(如图中画框所示)和掩码为输入,首先通过自回归模型规划出三维部件结构,然后同步生成所有高质量、带纹理的独立部件(如透明展柜中所示)。这些部件能够无缝地融合成一个结构协调的完整对象,并提供了显式的部件控制能力,从而极大地增强了后续的编辑、定制化和动画制作效果。

方法介绍:两阶段“规划-生成”策略

OmniPart 的流程优雅而高效,它将复杂的部件生成任务分解为两个核心模块:可控的结构规划(Controllable Structure Planning)和空间感知的部件生成(Spatially-Conditioned Part Synthesis)。

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

第一阶段:基于2D掩码的结构规划

首先,模型需要规划出3D对象的部件布局 。OmniPart 采用了一个自回归Transformer模型,它会根据输入的2D图像,预测出一系列3D包围盒(Bounding Boxes),每一个包围盒都代表一个部件的空间位置和大小。

这里最巧妙的创新在于,用户可以通过提供简单、灵活的2D部件掩码(Part Masks)来直观地控制部件的分解粒度。这些掩码无需与3D部件一一对应,也无需语义标签,大大降低了控制的难度。例如,用户可以决定机器人的手臂和手掌是一个部件还是两个独立的部件。

为了确保生成的包围盒能完整地覆盖对应部件,团队还引入了一种新颖的“部件覆盖损失”(Part Coverage Loss),鼓励模型生成稍大一些的包围盒,避免部件信息在后续阶段丢失。

第二阶段:空间感知的部件生成

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

有了部件的“空间蓝图”(包围盒)后,第二阶段的任务就是生成所有高质量的3D部件,并确保它们能无缝拼接。

该模块基于一个强大的预训练3D整体生成器(TRELLIS)进行高效微调。它将所有部件的潜在编码(latent codes)进行并行联合优化,而不是孤立地生成每个部件。这种全局与局部信息结合的去噪过程,确保了最终部件之间的高度一致性。

此外,为了解决部件边界处体素重叠和噪声问题,OmniPart 提出了一种新颖的“体素丢弃机制”。该机制能精确判断每个体素是否真正属于其分配的部件,从而生成清晰的部件接口,让组合后的整体更加完美。

实验效果:质量与效率全面领先

1.生成质量对比

如下图所示,与 Part123、PartGen 等现有方法相比,OmniPart 生成的3D部件在几何细节、语义准确性和结构一致性上都表现出明显优势。其他方法或只能生成表面分割,或几何质量较差,而 OmniPart 则能生成结构完整、细节丰富且能完美组合的独立部件。

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

2.生成效率

值得一提的是,OmniPart 的生成效率也实现了大幅提升。相较于需要复杂多视图重建流程的 Part123(约15分钟)和 PartGen(约5分钟),OmniPart 的统一框架能够在不到1分钟(约0.75分钟)的时间内完成从单张图像到所有3D部件的端到端生成 。

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

3.Huggingface demo 展示

SIGGRAPH Asia 2025 | OmniPart框架,让3D内容创作像拼搭积木一样简单

丰富的下游应用

得益于其出色的部件可控性,OmniPart 自然地支持一系列激动人心的下游应用:

  • 掩码控制生成 (Mask-Controlled Generation):用户可通过编辑2D掩码,精确指导3D部件的结构生成。

  • 多粒度生成 (Multi-Granularity Generation):通过调整掩码的精细程度,可以生成不同细节层次的部件组合。

  • 材质编辑 (Material Editing):可以对特定部件(如企鹅的帽子、衣服)进行独立的材质或纹理修改。

  • 几何处理 (Geometry Processing):生成的高质量部件有利于后续的网格重构(remeshing)等几何处理,不会在部件连接处产生伪影。

总结

OmniPart 框架通过其创新的“规划-生成”两阶段流程,并引入灵活的2D掩码作为引导,成功地实现了高质量、可控的部件级3D内容生成。它不仅在生成质量和效率上树立了新的标杆,其强大的可编辑性和应用潜力也为游戏开发、动画制作和虚拟现实等领域铺平了道路,推动了可解释、可编辑3D内容的创作边界。

值得一提的是,该团队近期在3D部件领域已经积累了多篇高质量的研究成果,形成了系统性的探索。其中包括专注3D部件分割的工作SAMPart3D(https://yhyang-myron.github.io/SAMPart3D-website/),该研究旨在实现对任意3D物体进行精细化的部件分割。另一项相关研究HoloPart(https://vast-ai-research.github.io/HoloPart/) 则致力于解决从不完整的表面部件信息(Amodal Segmentation)中生成完整的3D部件几何。从部件的分割 (SAMPart3D)、补全 (HoloPart)到如今的生成 (OmniPart),这些工作共同构建了一个围绕“部件级3D物体”的AIGC技术矩阵。

文章来自于微信公众号“机器之心”。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)