
京东开源音视频生成框架JoyAI-Echo,5分钟叙事角色不崩,声音不乱,秒出片 (opens in a new tab)
京东首次开源长音视频生成框架JoyAI-Echo。它直击长视频生成中的角色一致性、声音稳定性和生成速度三大核心难题,一举在多个核心指标上超越行业标杆模型。根据公开评测结果,JoyAI-Echo在跨镜头一致性、语音准确率、用户偏好等关键指标上均取得领先表现,与业内主流长视频生成模型相比优势明显,出道即跻身全球第一梯队。
Total 5 articles

京东首次开源长音视频生成框架JoyAI-Echo。它直击长视频生成中的角色一致性、声音稳定性和生成速度三大核心难题,一举在多个核心指标上超越行业标杆模型。根据公开评测结果,JoyAI-Echo在跨镜头一致性、语音准确率、用户偏好等关键指标上均取得领先表现,与业内主流长视频生成模型相比优势明显,出道即跻身全球第一梯队。

身边做短视频的朋友,几乎人手一个剪映。 我一直没学。 不是不想,是觉得一个人又写文章又剪视频,实在太累了。 每次看到朋友坐在电脑前裁素材、加字幕、调转场,花一两个小时才剪出一条两分钟的科普视频,我就在想,有没有更快的办法。 折腾 skill 的时候,无意间发现了 HyperFrames 这个视频生成框架。 因为在基金公司劳作,就顺手试着做了一条讲公募和私募区别的短视频。(要多从自己日常去提需求尝试,熟悉ai的边界) 第一版出来的效果还不错,不用再辛辛苦苦剪视频了qwq。 画面是暖色深底的卡片式排版,标题「公募基金 vs 私募基金」用了很大的字号,旁边有一张带阴影的知识卡片,列着三个关键词:募集

为了打破多镜头长视频面临的高延迟、零交互困境,香港中文大学与快手可灵团队联合提出了首个实时流式多镜头长视频生成框架 ——ShotStream。该研究打破了传统双向架构的限制,将多镜头合成定义为基于历史上下文的下一镜头生成任务,用户可以通过动态流式提示词在运行时动态指导叙事走向!更令人振奋的是

仅凭一段随手拍摄的单目视频,是否能够让镜头在空间中自由飞行,让光线随意变换,让原本固定的真实场景在全新的视角与照明条件下被再次「拍摄」?这一过去被视作科幻设想的问题,如今迎来了明确答案。

近期,大连理工与快手可灵团队推出了 MultiShotMaster—— 一个高度可控的多镜头视频生成框架,该论文向研究社区展示了即使在 1B 左右的小参数量级模型上,也可以实现导演级的镜头调度和连贯叙事,且支持多图参考、主体运动控制。