最近折腾AI视频这块的人应该都有感觉付费工具一个月下来花的钱不少生成次数还老是不够用。这两天翻了不少论坛和B站评论区发现字节跳动开源的Bernini和Lightricks开源的LTX-2.3被提到的次数越来越多很多人说这套组合基本能替代掉大部分付费视频生成工具了。这篇文章就把这两个东西捋一遍包括它们是什么、硬件要求多高、跟同类比怎么样还有怎么装。模型文件https://pan.quark.cn/s/8128d3255a6cBernini是什么Bernini是字节跳动商业化技术团队放出来的一个视频生成和编辑框架用的是Apache 2.0协议代码和权重都在GitHub和Hugging Face上挂着随便下。它跟以前那种输入文字出一段视频的工具不太一样官方论文里管它叫语义规划渲染两段式架构前面用一个基于Qwen2.5-VL的多模态大模型去理解你要干嘛后面再用基于Wan2.2的渲染器把画面做出来。这套设计带来的好处是编辑能力特别强。有UP主在视频里测过换人物、换背景、去字幕、往视频里插广告牌这些操作说效果比想象中稳主体不会跑偏没编辑的部分也基本不会跟着变。知乎上有个回答者提到Bernini的接口传的是语义信息而不是像素信息所以理解模块和生成模块可以分开训练这样两边各自的预训练能力都能保留下来不会因为联合训练互相拖累。它能接收的输入也比较多文字、参考图最多5张、参考视频、要编辑的源视频都能一起丢进去。比如你想把视频里人物的衣服换掉或者把天气从晴天改成下雨一句话就能搞定还能保证光照、路面反光这些细节跟着一起变不是简单加个滤镜。LTX-2.3是什么LTX-2.3是Lightricks做过Facetune、Videoleap这些App的公司今年放出来的音视频生成模型同样Apache 2.0开源允许商用。跟Bernini主要做视频不同LTX-2.3的卖点是视频和音频一起生成不用先出画面再另外配音效或者对口型。参数量大概在190亿到220亿之间不同资料说法略有出入其中一部分专门用来处理音频。配音这块具体表现在哪呢官方说法是模型训练时专门处理过静音段和噪声还换了新的声码器24kHz立体声输出音画对齐会紧一些不会出现明显的滞后或者破音。之前LTX-2那一代确实有人反馈音频容易失真2.3这版基本把这个问题解决了社区那边测过人物说话场景口型和声音对得上不用后期再单独调。竖屏这块也补上了之前很多开源视频模型只支持横屏裁一下就变形LTX-2.3是拿竖屏数据单独训的直接出9:16短视频平台能直接用。分辨率最高能到4K单次生成时长大概20秒左右帧率有24/25/48/50几种可以选。硬件要求怎么样这块可能是大家最关心的毕竟不是谁家里都摆着H100。Bernini这边比较吃硬件官方文档写的是要Hopper架构的显卡H100/H800/H200这类而且是多卡配置个人电脑基本跑不动完整版。不过B站有UP主提到如果用社区做的量化或者蒸馏版本16G显存的卡也能玩起来只是效果和速度会打折扣。想图省事的话也有第三方把Bernini搬到云端做成网页版不用自己配环境。LTX-2.3相对亲民一点。官方和社区整合包给出的门槛是8GB显存起步推荐12GB以上内存建议16GB硬盘留出50GB左右装模型。RTX 3060这个级别的卡就能跑蒸馏版追求4K效果的话用RTX 4090这种会顺畅很多。有人在论坛里说自己用的是8G显存的老卡跑DISTILLED版本文生视频没问题就是速度会慢一些一个20秒1080p视频大概要一两分钟。跟同类工具对比一下先看视频生成和编辑这块对比项BerniniRunway Gen-3可灵Kling即梦是否开源是Apache 2.0否否否是否收费免费自建需硬件成本按次/订阅收费按次/订阅收费按次/订阅收费视频编辑能力强支持局部编辑、主体替换有编辑功能偏商业化打磨侧重生成编辑较弱侧重生成编辑较弱多参考图输入支持最多5张有限支持有限支持有限支持本地部署可以但硬件门槛高不可以不可以不可以画面细节稳定性官方评测接近头部闭源模型成熟稳定成熟稳定成熟稳定再看配音/音频生成这块对比项LTX-2.3ElevenLabsCosyVoice剪映自带配音是否开源是Apache 2.0否是否音画同步生成支持视频音频同一次推理出不涉及视频不涉及视频需手动对轨本地部署支持8GB显存起步不支持支持不支持竖屏原生支持支持9:16不涉及不涉及支持但需手动调整环境音/音效生成支持自动生成不支持不支持不支持商用授权免费商用付费订阅免费剪映会员相关限制从表里能看出来Bernini的优势在编辑这个方向尤其是那种要改局部、保留其他部分不变的场景LTX-2.3的优势是省了配音这道工序画面和声音是一起出来的不用再找配音工具对轨道。两个搭配起来用基本能覆盖从生成到出成片的大部分流程。安装教程Bernini安装本地多卡环境先确认显卡是Hopper架构H100/H800/H200普通消费卡建议直接用量化版或者网页版硬来容易报错。下载模型文件https://pan.quark.cn/s/8128d3255a6c环境要求Python 3.11.2CUDA 12.4以上装之前先检查一下版本对不对版本不对经常是报错的根源。用torchrun跑多卡推理脚本指定好配置文件和测试用例的json路径就能开始生成。想省事的话可以配一下提示词增强接一个OpenAI兼容的API端点生成质量会更稳一点。如果没有多卡环境也可以走ComfyUI这条路社区已经有人做了Bernini的节点支持模型文件在Kijai维护的仓库里能下到工作流基本上是Wan2.2那套加载区改一下模型换成Bernini的高低噪版本就行通常还会配一个4步加速LoRA提速。LTX-2.3安装ComfyUI本地部署8GB显存也能跑先装好ComfyUI没装过的话去官方仓库拉最新版Python建议3.10或以上。装LTX-2.3官方发布的原生节点插件ComfyUI的插件管理器里搜一下LTXVideo相关的节点包装上。去Hugging Face或者国内的镜像站下载模型权重8G显存的话选DISTILLED蒸馏版文件小一些占显存也少。模型文件下载完放到ComfyUI的models目录里对应的子文件夹路径不对的话节点会加载不出来。导入官方给的示例工作流json文件里面已经把加载、采样、解码这些节点连好了改改分辨率和帧数的参数就能用。采样步数一般设在22到26步之间CFG值控制在3.0到5.0负提示词写清楚能减少画面崩坏的情况。想再省显存可以开FP8量化官方说这样能让体积缩小三成左右在消费级显卡上推理速度能提升接近一倍。生成完在浏览器localhost对应端口预览如果打不开检查一下防火墙设置或者换个端口试试。装的过程中最容易卡住的地方是路径问题和依赖版本冲突网上教程一般会提醒把安装目录放在非中文路径下也别装在带空格的文件夹里能省不少排查时间。这套组合下来前期花点时间配环境配好之后基本就是一次性投入跟按月付费的工具比长期用下来省的钱不算少尤其是产量比较大的自媒体账号一个月省下来的订阅费可能都够换张显卡了。
