AI news

我的天,全球首个「推理视频模型」Ray3发布!

By JackCui1 viewsSource: JackCui
我的天,全球首个「推理视频模型」Ray3发布!

AI视频又进化了! Luma AI 发布全球首个推理视频模型,也是首个能够生成工作室级 HDR 的模型。 Ray3 是一款专为讲述故事而设计的 AI 视频模型。 它能够对视觉内容进行思考和推理,并提

The full text has not been translated yet. The Chinese original is shown below.

AI 视频又进化了!

Luma AI 发布全球首个推理视频模型,也是首个能够生成工作室级HDR的模型。

我的天,全球首个「推理视频模型」Ray3发布!

Ray3 是一款专为讲述故事而设计的 AI 视频模型。

我的天,全球首个「推理视频模型」Ray3发布!

它能够对视觉内容进行思考和推理,并提供先进的物理特性和一致性。

它还率先实现以 16 位 HDR 色彩生成视频。

并且推出了草稿模式让用户能够以更快的速度探索更多创意。

先来看官方的 demo 。

我的天,全球首个「推理视频模型」Ray3发布!

效果可以说是非常震撼了。

看完了卖家秀,再来看看买家秀。

下面是网友用 Ray3 模型做的东京视频。

我的天,全球首个「推理视频模型」Ray3发布!

白天、夜晚、街头、景点、车内、餐厅店铺、地铁、电话亭、高楼等各种场景,都还原的很真实,完全看不出来有什么破绽。

除了日常场景,用它来生成奇幻画面也是手拿把掐。

下面是网友用它做的关于一个男人在地铁上走神幻想的视频。

很有意思,一起来看看。

我的天,全球首个「推理视频模型」Ray3发布!

凭借着出众的性能表现,它也收获了一大波好评。

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

接着我们一起来看看这个视频模型到底不一样在哪里。

一、推理能力带来了什么

推理能力就像是给视频模型装上大脑,让它有了“思考”的能力。

听得懂人话

它能够理解复杂的指令,还能从不完整的提示词中读懂你的“弦外之音”。

我的天,全球首个「推理视频模型」Ray3发布!

实时评估和改进

它能在生成过程中实时评估物理逻辑和画面合理性,进行改进,从而生成更复杂场景、效果更可靠的视频。

这也让用户能够一次性输入含有多步骤的提示词,然后它先“思考”,再逐步实现。

我的天,全球首个「推理视频模型」Ray3发布!

支持画面注释

除了文本提示词,推理能力也让它能够读懂视觉注释。

在图生视频的模式下,你可以直接在图片上进行涂鸦,比如画圆圈、画箭头等指示,从而指导角色表演、场景布置和镜头移动。

无需多余文本提示,即可优化动作、物体和构图,实现精准的视觉控制。

这也让角色互动变得游刃有余。

我的天,全球首个「推理视频模型」Ray3发布!

二、其他优势

HDR 级别的生成能力

Ray3 是全球首个能够能够提供工作室级保真度 HDR 的模型,让你的视频拥有电影大片的质感。

它可以生成 10、12 和 16 位 HDR 的视频,阴影细节清晰,高光色彩鲜艳。

还能将 SDR 转换成 HDR 。

我的天,全球首个「推理视频模型」Ray3发布!

支持将视频导出为 16 位 EXR 帧,方便后期制作,比如用于专业编辑、色彩分级和合成流程。

我的天,全球首个「推理视频模型」Ray3发布!

从上面视频中的对比可以发现 HDR 比 SDR 的观感要好太多。

这里简单解释一下 HDR 和 SDR 。

HDR 是指 High Dynamic Range Imaging 高动态范围成像。通常使用 10 位或者 12 位色彩深度。

SDR 是指 Standard Dynamic Range Imaging 标准范围成像。是一种较早的显示技术,通常使用 8 位色彩深度。

HDR 能够显示更广泛的颜色变化和亮度级别,这也让观众可以看到更多细节,从而收获更真实的观看体验。

我的天,全球首个「推理视频模型」Ray3发布!

这对像我这种对画质很挑剔的用户可太友好了。

草稿模式

Luma AI 还推出了草稿模式。

该模式的设计是为了方便用户快速迭代自己的视频创意。

草稿模式在生成速度提升 5 倍的同时,将成本降低 5 倍。

这意味着用户可以更高效、以更低的成本尝试自己的想法。

在得到理想的镜头画面后,再通过 Ray3 全新的 Hi-Fi 柔光渲染技术将素材转化成高保真 4K HDR 素材。

我的天,全球首个「推理视频模型」Ray3发布!

各方面能力全面升级

从二代到三代,除了上面提到的这些新增优势,Ray3 模型这次在多个方面都实现了一次重大升级。

比如高能量动态效果、解剖结构的保留、物理模拟、世界探索、复杂人群、交互式照明、焦散、动态模糊、照片级真实感和细节层次等。

我的天,全球首个「推理视频模型」Ray3发布!

雨天这个例子的真实感和物理效果有以假乱真那味了。

物理模拟:

我的天,全球首个「推理视频模型」Ray3发布!

动态模糊:

我的天,全球首个「推理视频模型」Ray3发布!

还有更多信息和示例,请移步:

我的天,全球首个「推理视频模型」Ray3发布!

我的天,全球首个「推理视频模型」Ray3发布!

https://lumalabs.ai/ray

目前可以在 Dream Machine 上免费试用。

我的天,全球首个「推理视频模型」Ray3发布!

lumalabs.ai/dream-machine

现在注册的小伙伴预计会进等待名单,需要大家耐心等待一波~

三、最后

Ray3 的效果真有让我惊艳到,目前已经被用来制作不少短片。

我的天,全球首个「推理视频模型」Ray3发布!

观看链接:

https://www.youtube.com/watch?v=YuawlG2HJtM

后续还有更多视频待推出。

我的天,全球首个「推理视频模型」Ray3发布!

随着 AI 视频模型的一次次升级,我们离一部真正的 AI 好莱坞大片也越来越近。

这也让我想起了由 OpenAI 支持、将于明年戛纳电影节首映的 AI 动画长片《Critterz》。

我的天,全球首个「推理视频模型」Ray3发布!

让我们一起拭目以待吧!

文章来自于微信公众号 “JackCui”,作者 “JackCui”,AI领域从业者,毕业于东北大学,大厂算法工程师,热爱技术分享。

Related topics

After reading

Join the AINRK community

Read how to join the community and connect with people working in AI.

Community information (opens in a new tab)