AI news

完整教程:用 GPT-6 Astra+Blender 从零开始搭建一个3D 手势交互机器人

By 夕小瑶科技说0 viewsSource: 夕小瑶科技说
完整教程:用 GPT-6 Astra+Blender 从零开始搭建一个3D 手势交互机器人

本文分享使用 GPT-6 Astra、Meshy 和 Blender 从零搭建 3D 手势交互机器人"夕小瑶"的完整教程,涵盖三视图准备、白模生成、模型修整、贴图绑骨、动作制作及手势互动网页部署的全流程。

The full text has not been translated yet. The Chinese original is shown below.

家人们,夕小瑶会动了,还能听我的“手势指挥”。

对着摄像头比个耶,她就抬手打招呼;点个赞,她开始自信走秀;食指画个圈,她也跟着转身。

文章配图

这个网页我也放出来了,大家感兴趣的可以玩一下:

👉传送门:夕小瑶 3D 手势互动

https://xixiaoyao-gesture-studio.netlify.app/

初次加载3D模型会有点慢,耐心等一小会儿。另外建议用带摄像头的电脑打开,右下角点击开启互动,允许使用摄像头,再把手放进画面里。

以前吧,夕小瑶只出现在我的头像、封面和配图里。这次,我想让她从图片里走出来,变成一个能和大家互动的 3D 玩偶。

起因是最近看到不少人用 GPT-6 Astra 操作 Blender,搭建筑、做游戏,大家也在夸它的建模能力。

文章配图

比如创作者 Hirokazu Yokohara 分享了一次测试:他把一张图片交给 GPT-6 Astra 后,它就在 Blender 中搭出了城市背景,还自动剪辑了展示制作过程的视频。

比如创作者 Tom Krcha 给它一张蒸汽火车图纸,要求在 Blender 里重建。

文章配图

演示中,烟囱、锅炉、车轮和驾驶室被搭了出来,一辆火车出现在软件窗口里。

于是,我也试着做了一个:把夕小瑶做成 Q 版 3D 角色,放进网页,通过摄像头识别手势,让她走路、打招呼、跳舞和转圈。

想法很简单,实践起来却没有想象中轻松。这个作品前后把我 5X 的周额度耗得差不多了,才勉强做成现在的样子。

文章配图

下面就把这次的制作过程分享出来。不会建模也可以跟着做,遇到的坑和每一步需要检查的地方,我也一起写进去了。

我主要在 Codex 里使用 GPT-6 Astra,还用到了 Meshy 和 Blender。

GPT-6 Astra 帮我生图和处理代码;Meshy 生成3D人物、贴图、绑骨和挑选动作; Blender 检查、修整模型。

◈第一步:准备人物三视图和 Q 版风格参考图

第一步,先准备人物IP的三视图,也就是同一个角色的正面、侧面和背面。

不会画也没关系。可以把已有的角色图片交给 Codex,让它帮忙补齐视角;如果还没有自己的形象,就先描述发型、服装、配色等,生成一张满意的正面图,再以它为依据补侧面和背面。

提示词可以这样写:

以这张人物图为依据,制作同一角色的正面、侧面和背面三视图。保持发型、五官、服装、配色和身体比例一致,不要在不同视角里重新设计。使用简单背景,全身完整可见,三个视角的大小和站姿

尽量一致。

夕小瑶原始 IP 三视图:

文章配图

准备好三视图后,我还另外给了一张 Q 版风格参考图:就是这个穿绿色卫衣、背着书包的角色。我主要喜欢它的大头小身体比例、圆润的脸和宽松卫衣的感觉,希望夕小瑶也往这个方向调整。

文章配图

这两类图的作用不同:夕小瑶的三视图用来保留角色形象,Q 版参考图用来说明我想要怎样的比例和画风。

所以我特别强调,粉色头发、蓝色眼睛、猫耳、发饰和尾巴都要保留,不要把参考角色的绿色衣服和白色头发一起搬过来。可以提供的提示词如下:

图 1 是夕小瑶的三视图,图 2 是 Q 版风格参考。请保留图 1 的粉色头发、蓝色眼睛、猫耳、发饰和尾巴,参考图 2 的大头小身体比例、圆润画风和宽松卫衣感觉,制作属于夕小瑶的 Q 版形象。不要

照搬图 2 的角色和配色。先给我一张完整正面图,等我确认造型后,再制作一致的侧面和背面图。

确认后的 Q 版夕小瑶:

文章配图

Q 版造型确认后,再按这个版本补齐正面、侧面和背面。

文章配图

文章配图

文章配图

这里需要留意一下,AI生图模型推出来的侧面和背面可能和正面不完全一致,生成后我们记得要对照一下尾巴、发夹、发束和衣服。

背景也尽量简单,别让道具或复杂光影干扰人物轮廓。

◈第二步:在 Meshy 生成基础白模

这里先说一下,我为什么没有直接让 Codex 在 Blender 里把人物做完。

最初我确实这样试过,但做出来的人物和我想要的夕小瑶差得有点远。

OMG,它有点吓到我了。。。

文章配图

后来我去网上搜集案例才发现,它在建筑类场景相对还行,到了建模人物就没那么容易满意。所以我换了个办法:先根据图片生成3D形象,然后进入Blender再修局部。

这里我选的是 Meshy。它是一个网页端 AI 3D 建模工具,可以把文字或图片转成可导出的 3D 模型。

当然市面上也有很多其他工具,比如Tripo,腾讯旗下的混元 Hyper3D,

最开始我还想偷个懒,想着直接让Codex 操作这个网站,后来发现这个过程速度很慢,还很耗费额度。。。

干脆我直接上手操作,发现需要自己操作的地方其实不复杂。打开网站进入工作区,

文章配图

上传第一步生成的三视图,然后这里记得勾选多视图和拆分两个选项。

“拆分”指的是把生成后的身体、衣服、配饰等尽量分成独立网格,方便后续在 Blender 里单独处理身体各个部件。

文章配图

通常这一步出来的基础模型通常叫白模,可以理解成还没上色的立体坯子。先看形状,颜色放到后面处理。

生成后不要只看正面。拖动模型转一圈,看看侧面的手臂有没有粘住衣服,背面的头发、尾巴有没有变形,再放大检查脸和手。

看我第一次生成的模型,尾巴就出了问题。。。

不过不用担心,我们在页面点击绿色箭头,把导出文件交给Codex,让它直接去操作Blender修复。

文章配图

◈第三步: 让 Codex 在 Blender 里修尾巴

有了基础模型,Blender 的任务就明确多了:直接把明显的瑕疵修好,已经满意的造型可以保留下来。

让 Codex 操作 Blender,有两种常见方式。一种是直接操作软件界面,像我们自己点菜单、选物体那样完成任务;另一种是通过 MCP 连接,让 Codex 调用 Blender 的工具能力、执行脚本。

文章配图

MCP 可以理解成两者之间的接口。处理重复或批量任务时,程序化操作能减少一些截图、找按钮的往返,通常更适合这类工作。 这里我建议大家使用Blender MCP,速度快还省额度。

首先我们在 Codex 安装 Blender MCP 页面 ,

文章配图

然后把刚才 Mershy 的导出文件地址发给它,让它根据要求修改。

比如这次的尾巴,可以这样提:

导入我下载的模型,先另存一个修复版本。检查尾巴的尖刺、连接处和形状,只修尾巴,保留脸、头发、衣服及人物比例。完成后给我正面、侧面和背面的截图,并说明修改了哪里。

修整后的白模正面和侧面如下:

文章配图

文章配图

哈哈哈,效果看起来不错吧,但是整体这一步耗时也太长了吧,用了一个多小时。。

文章配图

修复完基础的白模,接下来还有重要的一步,就是减面,减面之前先了解一个知识点:面数。

“面数”是什么意思。

它指的是我们生成的白模表面由很多小面组成,三角面就是其中的一种。

文章配图

像我最初在 Meshy 生成的白模显示有 3,074,822 个三角面。面越多,描述的形状越细,但处理和显示的负担也会增加。

文章配图

由于我的网页还要开摄像头、识别手势、播放动作,所以没必要把所有细节都用几何结构硬撑出来。

这里我们只需要告诉Codex 完成修正后,进行减面,把白模的面数降到适合在网站交互的数量就可以。

保留原始高面数模型,另外制作适合网页使用的减面版本。优先保护脸、手指、猫耳和尾巴的轮廓。完成后给出面数和对比图,检查破洞、尖角、手指粘连,以及轮廓是否明显变形。

◈第四步: 贴图,让白模变回熟悉的夕小瑶

结构修好后,可以直接告诉Codex 把刚才修正减面后的模型直接导入放回 Meshy,完成贴图。

贴图是映射在白模表面的图片,眼睛的颜色、衣服的图案等细节都可以通过它表现。材质还会影响表面怎么反光,比如看起来是哑光的,还是像塑料一样亮。

操作时选中修整后的模型,进入贴图功能,用刚才第一步确认过的角色图作为参考,再生成并检查结果。

我在 Meshy 手动贴图后的效果:

文章配图

这一轮我主要看眼睛、眉毛和嘴巴的位置,再转到侧面、背面,检查头发与衣服之间有没有串色。有些正面看不出来的色块,转过去会很明显。

◈第五步:绑骨,再挑几个适合她的动作

上好色的模型还不会自己动。接下来要做的是绑骨,也就是给角色装上能够活动的骨架。

Meshy 有自动绑骨和预设动画。选中人物,进入绑骨或动画入口,按界面要求确认骨架或定位点,完成后先预览几个动作,再决定是否保留。

这是我给设定的基础跑步动画预览:

文章配图

除了基础的跑步,我又加入了自信走秀、大方打招呼、跳舞和摆臂舞步等各种动作。

◈第六步: 导出 GLB,做成网页

模型和动作准备好后,我把它们下载到本地,交给 Codex 接入网页。这里用的是 GLB 格式。

GLB 可以把模型、材质、贴图和动画等内容装进同一个文件,网页加载起来方便。

在 Meshy 下载时选择 GLB,并确认所需动画包含在导出内容里。如果动作分成多个文件,就放进同一个文件夹,保留原始文件名,方便 Codex 对照整理。

文章配图

开发网站项目的时候,我们需要简单的了解一下:Three.js 负责显示 3D 人物,MediaPipe 负责提供手部识别信息,代码决定播放哪段动作、缩放多少、旋转多少。

文章配图

使用我提供的 GLB 和动画,制作摄像头手势互动网页,按上面的表格设置控制。同一个手势只对应一个动作,手势短暂稳定后再切换,避免频繁误触发。默认播放自信走秀;画圈控制旋转,停止后

平滑回正。提供开启、关闭互动的入口,并说明本地怎么打开测试。

网页背景方面我这次做了虚化的霓虹城市背景、倾斜的透明代码卡片,开启摄像头后,在角色后面加了连接线,切换动作时,卡片里的代码跟着变化。

文章配图

确认本地版本没问题后,再让 Codex 部署到支持 HTTPS 的托管平台,我这里使用的一个免费的部署平台 Netlify,在Codex可以直接搜索这个插件安装,部署完成后就可以把链接分享给朋友了。

◈最后

做到这里,夕小瑶终于从一张图片,变成了能在网页里走路、跳舞,还会跟着我的手势转圈的 3D 玩偶。

虽然中间修尾巴、调动作花了不少时间,额度也消耗得有点心疼,但看到自己的 IP 真正在屏幕里动起来,还是挺开心的。

而且,这个人物后面还可以做成3D 打印的小摆件。以后说不定大家就有机会把屏幕里的夕小瑶摆到桌上了。想想还挺期待的。

如果你也有自己的 IP,可以照着前面的步骤试试。工具和提示词都放在文中了,动手时可以随时翻回来对照。

文章来自于微信公众号 “夕小瑶科技说”,作者 “夕小瑶科技说”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)