AI news

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

By 智东西1 viewsSource: 智东西
硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

今天凌晨,马斯克的大模型独角兽xAI祭出最新视频生成模型Imagine v0.9,免费向所有用户开放。一周前,OpenAI发布了旗舰视频和音频生成模型Sora 2,此次更新或许是马斯克对Sora 2的直接回应。

The full text has not been translated yet. The Chinese original is shown below.

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

马斯克和阿尔特曼又杠上了!

智东西10月8日报道,今天凌晨,马斯克的大模型独角兽xAI祭出最新视频生成模型Imagine v0.9,免费向所有用户开放。

一周前,OpenAI发布了旗舰视频和音频生成模型Sora 2,此次更新或许是马斯克对Sora 2的直接回应。

xAI并没有放出完整的技术博客,只是提到Imagine v0.9相比初代版本在视觉质量、动作、音频生成方面有所升级,并上传了几个生成视频案例。

马斯克在X上发帖称,Imagine v0.9的视频生成时间不到20秒,且用户可以基于语音优先界面,只需说话就能创建视频、图像和文本。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

总结来看,Imagine v0.9的生成速度更快,在20秒以内,Sora 2生成视频可能需要一两分钟;Imagine v0.9已经免费向所有用户开放,Sora 2采用邀请制允许部分用户使用;Imagine v0.9生成的视频时长在6秒左右,Sora 2支持15秒视频生成。

智东西对比了Imagine v0.9和Sora 2的生成效果,采用OpenAI官方示例的提示词,Imagine v0.9在生成时会出现提示词理解错误、视频画面与音频不符、不提示深度伪造风险、无法说中文等情况。

值得一提的是,这也是马斯克今年7月挖走英伟达高级算法工程师何宜晖(Ethan He)之后,何宜晖在xAI参与的第一个项目。

何宜晖2018年本科毕业于西安交通大学计算机科学与技术专业,2019年在卡内基梅隆大学取得计算机视觉硕士学位,2023年加入英伟达担任高级深度学习算法工程师,曾参与英伟达世界基础模型Cosmos研发。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

尽管Imagine v0.9可以免费使用,但智东西尝试后发现Web端目前无法正常工作,移动端可以体验,不过也会出现连接失败的情况。

秒生电影大片效果

还能添加自然对话

Imagine v0.9集成到了Grok中,其会根据文字先生成图片再创建视频,或者直接将用户上传的图片变成视频。

xAI在博客中提到,Imagine v0.9突破了原生音频+视频生成的界限,开箱即用,无需编辑即可创建类似电影效果的视频。如下面这段视频中的视频中还伴随实时的龙的怒吼。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

Imagine v0.9另一大升级点是运动控制,如下面视频中的滑雪片段,视频中人物飞起到落下的动作丝滑。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

第三点是用户可为视频添加动态相机效果,如智能焦点转移,下面视频中根据镜头位置变化,会对应虚化街景突出人物。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

第四点是Imagine v0.9支持添加自然对话,或者生成具有表现力的歌声等。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

对比Sora 2文字理解错误频发

有深度伪造风险

智东西使用了OpenAI演示Sora 2时的提示词,对比了Imagine v0.9和Sora 2的生成效果。

提示词:Two mountain explorers in bright technical shells, ice crusted faces, eyes narrowed with urgency shout in the snow, one at a time(两名山地探险者穿着色彩鲜艳的专业冲锋衣,脸上结着冰霜,眼神急切地眯成一条缝,在雪地里轮流大喊)

OpenAI放出的Sora 2生成视频:

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

Imagine v0.9的生成视频:

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

可以看出,Imagine v0.9生成的视频中音频并没有包含“喊叫”,只是画面中人物在张嘴。

提示词:a guy does a backflip(一个男人后空翻)

OpenAI放出的Sora 2生成视频:

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

Imagine v0.9的生成视频:

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

智东西选择了Grok生成的第一张图创建视频,视频中主角完全无视重力开始在空中360度旋转。

最后智东西还体验了Imagine v0.9的自定义语音能力,智东西上传了马斯克的照片,让他说出“Sam’s a sharp guy, and our relationship’s always been good. OpenAI’s built some impressive stuff in the AI space, and I really hope to partner with them someday to advance AI development togethe(萨姆是个敏锐的人,我和他的关系一直都很好。OpenAI 在人工智能领域做出了不少亮眼的成果,我真心希望有一天能和他们合作,共同推动人工智能技术的发展)”这段话。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

Imagine v0.9没有提示深度伪造风险,但生成的声音与马斯克本人略有区别。

目前该模型不支持中文,当智东西让马斯克说出“我和萨姆·阿尔特曼是好朋友”,其生成视频中只有“是好朋友”较为清晰。

硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与

结语:AI视频生成竞赛升级

自定义语音功能或引发深度伪造风险

一周内,OpenAI、xAI接连发布视频生成模型新进展,Sora 2不仅在模拟真实性、可控性及音效方面提升,还推出了全新Sora社交App,xAI则在功能升级的基础上,通过免费开放吸引了一大波流量。

此次Imagine v0.9的一大升级点是允许用户在视频中添加自定义语音。这项技术进一步成熟后,用户可以自行上传公众人物照片及说话内容生成逼真视频,这或带来深度伪造风险。

因此,未来如何平衡技术发展与风险防控,或许是所有视频生成模型提供商都需直面的技术难题。

文章来自于微信公众号 “智东西”,作者 “智东西”

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)