AI资讯

刚刚,谷歌重磅发布Genie 4:这才是真正的「世界模型」!

作者:新智元0 次浏览 来源:新智元
刚刚,谷歌重磅发布Genie 4:这才是真正的「世界模型」!

Google DeepMind正式发布通用世界模型Genie 4,支持原生声音、实时对话与场景实时改写,单次连贯世界约维持2分钟,并由三款Gemini模型协同增强逻辑与物理模拟。

谷歌版「黑客帝国」,今夜彻底成真了!

就在刚刚,Google DeepMind甩出深夜王炸,正式发布新一代通用世界模型Genie 4。

这是谷歌迄今为止最逼真、最具互动性的AI世界模型。

文章配图

一句提示词,就能直接造出一座能张嘴接戏、实时改命的「活体宇宙」!

谷歌CEO劈柴第一时间宣布:从「生成一段视频」到「实时运行一个世界」,言出法随的「绿洲」时代来了!

文章配图

划重点,这次的Genie 4,直接把世界模型拉进了「有声、有人、有大脑」的全新纪元:

Genie系列首次原生生成声音与即兴对话。同步生成环境音与配乐,更能让角色根据突发状况张嘴即兴交谈。

2分钟连贯长记忆,24帧丝滑交互。单次连贯世界维持时间翻倍至约2分钟,实机画面稳定在约24帧/秒。

重塑逼真人类与刚体物理。借助Gemini Omni锚定现实常识,人物微表情、镜面反射与物理碰撞全面跃升。

三大Gemini联手组成「混合世界模型」。Gemini 3.8 Flash在后台盯画面当「导演」,Gemini 4 Argon拆解22步精细动作指挥机器人下跳棋。

你往前走一步,世界就实时长出一寸;你改一句话,物理法则和NPC台词当场跟着重写。

当视频模型还在比拼几秒钟的镜头美感时,谷歌已经为未来的通用Agent与机器人,造出了可以无限试错的平行宇宙。

现在,谷歌已经开始内测Genie 4, Google AI Ultra用户可以去申请waiting list了。

只要一句话,为你当场「生成一个宇宙」

为了展示 Genie 4 的统治力,谷歌放出了一系列极具震撼力的Demo,风格之跨越,细节之变态,让人叹为观止。

而且,在 Genie 4 面前,你不再是观众,你是「第一人称游戏玩家」,是这个世界的「上帝」。

你敢信,下面这段王家卫风满满的香港大桥飙车戏,根本不是原片?

后座的女孩刚喊出台词,玩家敲进两行字:「背景发生爆炸」「毁灭世界的巨型外星触手」。

紧接着,远处的维港天际线立马火光冲天,外星触手直接从天砸落!

文章配图

连路灯的橘色拖影、女主的皮肤质感和细微的担忧表情,都在长镜头中被完美渲染。

去年的Genie 3虽然开创了实时交互视频的先河,但有一个致命短板——没有声音,生成真人时也漏洞百出。

谷歌直接放出了一段Genie 3与Genie 4的同屏对比。

文章配图

左边Genie 3还是五官粘连、肢体僵硬的无声纸片人;右边Genie 4在Gemini Omni的现实常识锚定下,已经能拍出化妆镜暖光、演员微表情,甚至镜面的实时倒影,细腻得如同实拍长镜头。

拿到抢先测试资格的沃顿商学院教授Ethan Mollick,晒出第一手实测录屏。

文章配图

他只喂了一句「由马和机器人共同居住的新哥特式粗野主义城市」,不到1分钟,这座城市就出现了。

单帧延迟稳定在23.4至25.3 FPS。随手点一下「巨龙掠空」按钮,一头巨龙几秒内便扇动双翼,呼啸掠过!

文章配图

还不够过瘾,他又输入:「一只友好的水獭NPC走过来问问题」。

紧接着,街角当真跑出一只穿马甲的水獭,用伦敦腔搭话:「打扰一下,旅行者。」

文章配图

紧接着,他又晒出一段神级实测:在Genie 4里跑《毁灭战士(DOOM)》!

文章配图

他先设定「走进一间每台电脑和墙壁都在跑DOOM的办公室」,接着连敲三道指令:「恶魔同事出现」「手里拎着加特林机枪」「给我发了一笔奖金」。

话音刚落,真的走出一位恶魔同事,双手转着重型加特林,当场发起奖金!

文章配图

a16z 合伙人Justine Moore也晒出了水下潜行实测,表示这是巨大的飞跃。

文章配图

在海底洞穴中点下「受诅咒的紫钻发光」与「电鳗群袭来」,洞穴深处瞬间紫光爆闪、出现巨大电鳗群。

文章配图

再点一下「幽灵海盗现身」,立马出现海盗船长亡灵,太逼真了。

文章配图

前谷歌AR/3D产品经理Bilawal Sidhu,则把Genie 4当成了科幻大片的实时虚拟片场:

文章配图

他召唤出UFO,打出一句「它把我吸了进去」——UFO瞬间轰开牵引光束,准备把人吸进去。

文章配图

四大关键功能

谷歌官博介绍,Genie 4提升了四大关键功能。

实时塑造世界模拟

我们可以使用自然语言实时修改模拟场景——例如改变天气、移动镜头或引入新的人物或物体——Gemini 会根据周围场景调整我们的指令。输入指令的间隙,Gemini 还会监控、引导场景,确保整个世界流畅发展。

听起来,简直是盗梦空间成真了?

一个男人在岛上吹着萨克斯,敲下「鲸尾出现」,他身后的水中立刻出现鲸鱼。

随后,我们让这个世界开始下雪,鹅毛大雪立刻飘落。

文章配图

要是把镜头拉到第一人称视角,这种实时改写世界的冲击感还会进一步放大。

这个画面中,我们以140公里的时速骑着巨龙俯冲,掠过古堡,如果下令「城堡发射火球」,塔楼当场喷出烈焰,火球擦身而过,刺激感拉满。

文章配图

下面这个场景中,Genie 4先根据用户提示生成了南极冰封大地,然后生成了第一人称视角的乘热气球场景。

文章配图

拓展物理学和人类行为的现实边界

这次,Genie 4为交互模拟引入了全新的真实感标准。

基于对世界物理的超强理解,Genie 4对于真实世界的物理场景模拟得十分逼真,比如空气动力学、碰撞等等。

而Genie 4 最显著的进步就在于模拟人物,它能创造出自然移动、对环境做出反应、可实时交互式操控的角色。

80年代的日本乡村车站,给一个prompt,乘务员就会喊出发车提示。

再给一个提示,立马让一位老妇人提着行李箱出现。

文章配图

接下来的画面,让我们感叹Genie 4物理交互的极度逼真。

户外庭院的台子上,让大理石半身像砸向西瓜。

砰的一声闷响,瓜瓤与汁水四处飞溅——从重力冲击到碎片轨迹,Genie 4在实时交互中还原得恰到好处。

文章配图

对柔体力学与空气动力学,Genie 4同样手拿把掐。

草甸上的粉色丝绸,只要吹起一阵风,立刻迎风翻涌出层层丝滑波浪,十分真实。

文章配图

一只枫树种子掉落到地上的特写镜头,都逼真不已。

把镜头推到毫厘之间的微距视角,枫树翅果像直升机螺旋桨一样自旋滑落,轻轻停驻草叶之间。

文章配图

告别「无声蜡像馆」,Genie 4能模拟声音了!

Genie 4 是谷歌的首款原生生成音频的实时世界模型。

每个世界都拥有自身环境的声音,比如树叶沙沙作响,海浪拍打沙滩。

然而,真正的挑战还是人类语言!Genie 4 引入了实时互动对话功能。角色会根据你的输入或事件进行实时对话和反应。

这个半透明的3D彩绘玻璃世界中,用提示词召唤出一只鹿。最吸引人的是,它的脚步声都自动变成清脆的琉璃碰撞声。

文章配图

硬核架构拆解:三大Gemini轮番上阵,搭起「混合世界模型」回路

如果仅仅把Genie 4当成画质更好、能发声的「大号视频生成器」,那就低估了Google DeepMind的野心。

过去的实时世界模型之所以玩不过几十秒就容易崩盘,是因为纯像素预测缺乏长程逻辑规划,往往做完第一步,就把后面的目标忘得一干二净。

为了治愈这个顽疾,谷歌这次端出了极具颠覆性的「混合世界模型」架构,派出三款Gemini模型与Genie 4组团打配合。

这样,世界模拟就增添了一个全新的推理层面,让Genis 4能模拟复杂的多步骤事件,并在将AI引入现实世界之前,测试它们如何在不同环境中运行。

文章配图

第一重配合,是让Gemini 3.8 Flash在循环回路里充当实时控场的「总导演」。

当Genie 4在前面逐帧生成画面时,Gemini 3.8 Flash就在后台实时盯着画面拆解多步推理序列,一边验证当前步骤是否完成,一边下达下一步指令。

随着用户干预,Gemini会立刻调整,生成具有可靠因果、程序员行为和多步骤推理的世界。

看看下面这场近景魔术:玩家每次关上箱门挥动魔术棒,右上角的Gemini 3.8 Flash就会确认步骤完成,指挥Genie 4先把孔雀变成橘猫,再把橘猫变成复古收音机!

文章配图

哪怕半途突然改戏,这位「总导演」也能当场重排剧本。

比如在冰天雪地里让一颗流星划过,再指挥灰冠鹤走到电子琴前啄出旋律,最后让它一飞冲天。

文章配图

如果说Gemini 3.8 Flash解决了「世界怎么按逻辑演进」,那么Gemini 4 Argon与Gemini Robotics的加入,则捅破了具身智能与机器人训练的天花板。

当人类下达一句「跟对面的男孩下跳棋,走一步红棋」,左侧的Gemini 4 Argon会瞬间将任务拆解为22步毫米级动作剧本。

这些高密度指令实时注入Genie 4的生成流中,驱动右侧的Apollo机器人行云流水地完成捏棋、走子与对弈。

文章配图

甚至,Genie 4还能进实验室做精密科研。

哪怕是工业级的UR5六轴机械臂,也能在Genie 4里精准夹持移液管,插入微孔板滴注液体。

即便中途把目标挪走,模型也能实时重算策略,按新位置完成抓取。

文章配图

通往ASI的必经之路,是先造出一个世界

什么是真正的「世界模型」?

是你推开一扇门,转身离开30秒,再走回来,那扇门依然开着。

能记住物理规律,能维持空间记忆——这,就是视频模型与世界模型的分水岭!

现在,Google Genie 4 做到了。

靠着「海量无标签视频预训练+少量动作轨迹微调」,再加上Gemini的符号逻辑与长程记忆,Genie 4一举将单次连贯世界的维持时间推到了约2分钟。

从此,构建交互环境彻底告别了繁琐的手工3D建模。

现在,Genie 4已向Google AI Ultra用户开放,更将作为史上首款进入Gemini API与Google AI Studio的世界模型向开发者敞开大门。

我们能看出谷歌的野心:真正的 AGI,绝不可能只活在对话框里!

当AI学会在自己创造的平行宇宙里穷尽万千种物理可能,它真正推开现实世界大门的那一天,也就不再遥远了。

参考资料:

https://deepmind.google/blog/genie-4-a-new-generation-of-world-simulation/

文章来自于微信公众号 “新智元”,作者 “新智元”

相关主题

读完之后

加入 AINRK 交流群

了解加入交流群的方式,与更多 AI 从业者交流。

查看交流群说明(在新窗口打开)