发现一个贼牛的开源项目,AI一键生成完整视频

从ChatGPT爆火以后,就总有“AI太牛了,自己是不是要失业了”等等类似的声音出现。
从ChatGPT爆火以后,就总有“AI太牛了,自己是不是要失业了”等等类似的声音出现。
但三年过去了,貌似绝大部分的岗位并没有受到太多实质性的影响,反倒是借助AI的强大能力,在工作中能腾出更多时间来摸鱼了

不过这种变化也只局限于部分职业而已,比如程序员、设计师,因为这些职业的工作内容比较垂直。
要么写,要么画。
但做视频这件事,是多个种类的工作掺杂其中的,写文案、画面拍摄、剪辑,缺一不可,所以难度也是最大的
但是,最近阿枫在Github发现了一个可以用AI全自动创作完整短视频的开源项目,我觉得有必要分享出来。

Pixelle - Video
一句话用AI创作短视频
首先来介绍一下这个项目的原理:简单来说就是通过你给予AI的主题,调用通用大模型创作文案。
然后AI会给文案分段并创作分镜信息,然后AI把分镜信息传输给给文生图或者文生视频模型,就得到了画面。
然后再调用文字转语音的模型生成口播,最后将字幕、画面、口播、BGM合到一起,就得到了一个完整的短视频了。

而这一系列复杂的操作,只需要你输入一个主题,就可以全部自动完成啦。
于是我简单尝试了一下,效果虽说称不上令我惊艳,但确实是那么回事儿

像这种画面+口播的形式挺适合做知识类型的短视频,比如历史科普、情感共鸣、文学作品解说等内容,当个副业还是挺不错的。

接下来介绍一下使用方式。
安装:
首先这是一个GitHub的开源项目,目前并没有完整的编译版本,但开发者贴心地提供了一键整合包。
从使用上来说,其实还是接近我们正常使用的下载安装打开使用的,不过仅限Windows用户,Linux或者MAC用户还是要自己部署到本地了
一键整合包的使用方式如下,我也在文末放上了网盘下载地址↓

需要注意的是,在运行start.bat文件之后,并不会直接启动,而是会在cmd窗口里收集一下你的邮件信息。

输入邮件并确认之后,就会自动打开浏览器,并开启项目的UI界面。
配置:
第一次打开的话,它是长这样的👇

因为该项目需要调用别的大模型来生成内容,所以初次使用时需要大家自行配置API信息。
共需要配置左边的语言大模型,和右边的ComfyUI这两种。
语言大模型就不用多说了,DeepSeek、豆包、千问这些都行,你选一个自己喜欢的就行~

如果不知道怎么获取API Key,就点下方蓝字指引,会自动跳转到相应的模型官网。
以DeepSeek为例,注册登录开放平台后充点钱,然后获取自己的API,再回来填到这个项目中就可以了。

不同的模型有不同的充值额度,比如DeepSeek,最低只需要充一块钱,就足够你用很久很久了。
然后是配置ComfyUI,这个稍微有点麻烦。
首先介绍一下什么是ComfyUI,简单来说其实就是文生图模型的界面/工作流工具,之前较火的文生图模型SD,就可以借助ComfyUI来运行。

比如之前给大家推荐过的LibLibAI,他本质上就是ComfyUI的线上商业版本。
但ComfyUI本质上是一个开源项目,并没有官方的线上版本,所以就需要大家自行配置到本地了。
配置好后就会有一个访问地址,将这个地址配置到今天这个项目中就可以了。

但是肯定有小伙伴说:俺不懂,俺不会,但俺就想用!
OK,也没问题!
因为开发者还提供了一个ComfyUI的线上平台,这个平台提供API服务。大家注册一下,获取一个API Key填到这里就行了。

不过通常文生图的token费用比语言大模型要贵,大家可以先少充点API额度尝试一下
两项配置好之后,就可以正式开始使用了~
使用:
基础的使用方法很简单,只需要在这里输入一个视频的主题,然后点生成就完事了。

但为了帮大家更好地了解这个项目,下面我还是一项一项地给大家详细介绍一下。
1.文案部分:
如果你准备好了文案,那就勾选“自行创作”填写你的文案即可。如果没有文案,就在“AI创作”这里填写你想创作的主题,AI会自动帮你创作文案。

分镜数就代表画面的丰富程度,数量越多,画面越多,但使用的文生图token越多,所需要的花费也就越高了。
2.BGM部分:
该项目并不会自动生成音乐,所以需要你提前找好适合的背景音乐。
将音乐下载好后放到以下目录中👇
Pixelle-Video-v0.1.10-win64\Pixelle-Video\bgm
接着就可以在项目里选择你下载的音乐了。

3.配音部分:
这没啥好说的,选择一个喜欢的音色就可以了,不建议ComfyUI合成,因为要花钱~

4.分镜部分:
三种分镜类型从左往右分别是纯文字、图片轮播和视频镜头,API消耗也是从左往右越来越高,虽然文字几乎不消耗,但视频消耗的就比较多了。

视频模板其实就是视频的背景颜色和样式而已,选自己喜欢的就行。

参数这里写的其实就是作者名称、视频账号名称和视频介绍,可写可不写,根据自己视频的风格来定。

5.插图生成:
这一项最重要,它决定了你的视频画面是什么样的。
上方选择的是文生图的模型,其实总体大差不差,随便选一个就好。重要的是下方的提示词前缀,决定了你的视频画面风格。

比如你想做一个画面是二次元的视频,那么你在这里的提示词前缀就要写:日式动漫风格、主角是XXXXX样子的人、可爱,粗线条,等等类似的提示词(最好翻译成英文)。

这里不需要描述具体的画面是什么样的,只需要定义风格就好,具体的镜头画面,之后会由AI生成分镜信息来自动补充。
至此,相信你已经完全了解这个项目的可自定义选项了,最后点击生成视频,静待完成就OK啦~
项目地址:
https://github.com/AIDC-AI/Pixelle-Video
网盘下载:
https://pan.quark.cn/s/561c23ecca85
最后
说实话,以前想做一个知识分享类视频,光查资料、写文案就能劝退一半人,更别提后期让人脑壳痛的剪辑过程了。
现在的AI把那道门槛直接给拆了,虽然这个工具生成的画面还带点AI味,但对于想做副业、试水短视频的朋友来说,这已经是效率极高的创作工具了。
虽然AI不会让你失业,但先用上AI的那批人可能会。
文章来自于“阿枫科技”,作者 “阿枫”。
相关主题
读完之后
加入 AINRK 交流群
了解加入交流群的方式,与更多 AI 从业者交流。




