CVPR 2026 | BiMotion:用 B 样条曲线重新定义 3D 角色运动生成

当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。

图 1:同一文本描述下,AnimateAnyMesh(上)与 BiMotion(下)的生成结果对比。离散帧采样导致动作语义中途断裂,而连续 B 样条曲线则将完整动作保留至序列末尾。

- 论文标题:BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation
- 论文:https://arxiv.org/abs/2602.18873
- 项目主页:https://wangmiaowei.github.io/BiMotion.github.io/
- 代码:https://github.com/wangmiaowei/BiMotion
- 数据集(Hugging Face):https://huggingface.co/datasets/miaoweiwang/BiMotion
- 第一作者主页:https://wangmiaowei.github.io/
当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。
来自爱丁堡大学、康奈尔大学和密歇根大学的研究团队提出了 BiMotion:一种基于 B 样条曲线的文本驱动 3D 角色运动生成框架,即将在 CVPR 2026 正式发表,三位审稿人均给出 5/6 的高分评价。其核心主张只有一句话:运动是连续的,就应该用连续的方式来表达。

离散帧的困境:
为什么现有方法总在 "丢情节"
目前主流 3D 运动生成方法大多采用 VAE–潜在扩散模型架构,该架构具有固定的输入窗口,每次只能处理固定帧数的运动序列。面对长度各异的真实运动数据,现有方法只有两条路:
- 裁剪(Cropping):将长序列切割为短片段,模型仅能学到局部子动作,而非完整语义。如文本描述 "转圈后停步",模型最终只能生成 "向右转"。
- 均匀降采样(Downsampling):将 200 帧压缩至 16 帧再复原,导致动作卡顿抖动,如同一份低帧率的 GIF。
问题的本质在于:帧数仅代表时间采样密度,与动作语义本身无关。一只龙扇翅膀的动作,用 24 帧记录还是 120 帧记录,语义始终是 "扇翅膀"。逐帧离散表示,是这一领域长期忽视的根本性瓶颈。
B 样条:用少数控制点,刻画完整轨迹
BiMotion 的核心思路是将每个顶点随时间的运动轨迹,用一条连续可微的 B 样条曲线来表达。B 样条是计算机图形学中的经典参数曲线,仅用少量 "控制点" 便可描述一条光滑连续的轨迹;修改其中一个控制点只影响局部区域,不会破坏整体形状。
具体实现上,BiMotion 将任意长度 T 的顶点位移序列,通过带 Laplacian 正则化的最小二乘拟合,压缩为固定数量(默认 16 个)控制点。该压缩具有闭合解,在普通消费级 CPU 上,对 5 万顶点、200 帧的网格,不到一秒即可完成。Laplacian 正则专门处理序列极短时的欠定义问题,相比 Ridge 正则,其生成的插值更自然、过渡更流畅,消融实验对此给出了明确验证。
模型架构:从控制点到可生成的运动潜空间

图 2:BiMotion 整体架构。训练时(红色箭头)顶点差异转化为 B 样条控制点后编码为运动潜码;推理时(黑色箭头)从噪声采样得到控制点,经 B 样条重投影还原为任意长度的动画序列。
BiMotion 整体采用 VAE 加 Rectified Flow Matching 的两阶段架构。
B 样条 VAE
编码器将初始网格形状与控制点一并压缩为紧凑的运动潜码,其中包含两项关键设计:
- 法线融合(Normal Fusion):将顶点法线信息以余弦相似度加权的方式融入点特征,有效解决网格上空间相近但内在结构属于不同部位(如手指关节)难以区分的问题,且无需依赖网格特定的拓扑结构,对任意拓扑均表现稳健。
- 多层级控制点嵌入(Multi-level Control Point Embedding):受小波包分解启发,将控制点逐层分解为从粗到细的多级残差并分别编码。相比标准频率位置编码,这种方式能同时捕捉运动的全局节奏与局部细节(如狮子尾巴的微小摆动),重建误差大幅降低。

图 3:B 样条 VAE 架构。编码器(橙色区域)将初始形状与控制点压缩为潜码;解码器(绿色区域)重建控制点后通过 B 样条重投影得到顶点差异序列。
损失函数设计
VAE 训练采用三项联合损失:拟合损失(直接对齐控制点)、对应损失(通过 B 样条重投影对齐原始轨迹,早期训练收敛更快)、局部刚性损失(约束相邻顶点间距在各帧保持一致,防止形变时产生表面 "融化" 的视觉伪影)。三项损失各司其职、互为补充,共同保证运动的精度、连续性与形状一致性。
运动生成(Flow Matching DiT)
生成阶段基于 Rectified Flow 与 Diffusion Transformer(DiT),以初始网格的潜码和 CLIP 文本嵌入为条件,从高斯噪声中逐步去噪并采样出运动潜码,再经 VAE 解码器还原为完整动画序列。由于 B 样条重投影对帧数完全自由,推理时可按需输出任意长度的动画,如慢动作或子弹时间镜头。单张 A100 上平均推理时间仅为 4.4 秒。
BIMO 数据集:约 3.9 万条带文本标注的动态网格序列
为训练 BiMotion,团队整理并将开放 BIMO 数据集,包含约 39,000 条动态网格运动序列、总计逾 368 万帧,涵盖动物、机器人、人体、道具等多种类别。每条序列配有 3 条高质量文本描述,全部展开为 16 个 B 样条控制点存储,便于直接使用。
DeformingThings4D 部分来自 OmniMotionGPT 的人工标注;Objaverse 部分则通过基于 GPT-5 的自动标注流水线生成,配备生成器与质检器两个环节,确保描述的准确性和风格一致性。
实验结果:全面领先,效率显著提升

图 4:定性对比。左列:机器人与鹿的动作对比;右列:老虎与行走机器人的动作对比。红圈标注基线方法产生的形变伪影,BiMotion 均表现清晰自然。
团队在 20 个静态网格上与三类代表性方法展开全面对比:前馈生成方法 AnimateAnyMesh、动态高斯生成方法 GVFDiffusion,以及基于视频优化重建的 V2M4。网格来源涵盖 Meshy 生成资产与现有 3D 内容库,属于所有基线中最为严格的评测设置之一。
在 VBench 自动评估的 5 项指标中,BiMotion 在整体一致性、时序稳定性、美学质量和动作丰富度四项均居最优。其主体一致性略低于 AnimateAnyMesh,但消融实验已揭示该差距为虚高:后者生成的动作幅度极小、近乎静止,相邻帧高度相似,致使该指标人为偏高。
20 位参与者的用户研究中,BiMotion 在 "文本与动作匹配度"、"动作合理性"、"动作表现力" 三个维度的平均得分均超过 4.0/5.0,远高于所有对比方法。效率方面,网格顶点规模从 9K 增至 24K 时,BiMotion 生成时间仅从 3.7 秒微增至 4.6 秒,峰值显存从 1.1 GB 小幅升至 1.3 GB;而 AnimateAnyMesh 在同等条件下时间与显存均翻倍以上,充分体现 BiMotion 面向大规模网格的更强可扩展性。
局限性与未来展望
BiMotion 目前固定使用 16 个控制点,对高频、极复杂运动细节的表达能力仍有提升空间;同时基于固定网格拓扑的假设,暂不支持拓扑变化(如角色分裂、融合)的动画生成。当前 BIMO 数据集规模(约 3.9 万条)相较于视频或图像领域仍偏小,引入更大规模数据有望进一步提升质量与泛化能力。代码与 BIMO 数据集现已全部开源,欢迎社区共同建设。
作者简介:
Miaowei Wang, 目前是爱丁堡大学信息学院的博士研究生(2023年10月入学),研究方向为计算机视觉与计算机图形学中的可控运动表征(controllable motion representation)。他的博士研究由Amir Vaxman教授和Oisin Mac Aodha教授共同指导。 在此之前,他曾就读于密歇根大学电气工程与计算机科学系,在Jason Corso教授的指导下完成研究生学习。
文章来自于"机器之心",作者 "机器之心"。
Related topics
After reading
Join the AINRK community
Read how to join the community and connect with people working in AI.




