第 3 镜和第 30 镜,主角换了一张脸:讲透 AI 短剧的一致性难题,和我做开源短剧工作台的经过

AI短剧角色一致性全流程:从锚点资产库到首尾帧控脸实战 AI视频生成技术的快速迭代,让内容创作者能以前所未有的效率产出短片与叙事内容。然而在短剧这类连续叙事场景中,“同一个人物能否在多个镜头里保持长相稳定”往往决定作品的成败。其背后原理在于,AI每次生成都是一个独立的概率抽样,缺乏真人演员的自然约束,因此需要借助参考图、首尾帧插值等技术手段建立角色的视觉锚点。锚点资产库是角色一致性的根基,分镜脚本则是将剧本转化为模型可执行的镜头清单,两者结合能显著降低生成过程中的随机漂移。从单条短视频到成体系的剧集生产,合理的设计流程能提升素材复用率与后期效率,减少因脸部不一致 阅读详情

声明:本人是作者。

做过 AI 短剧的人,大概都见过这样两个镜头。

第 3 镜,男主左眉有一道疤,白衣,黑发。第 30 镜,疤没了,衣服变成米色,脸也像换了个人。提示词一个字没改。

后来我想明白一件事:AI 短剧的一致性,根本不是提示词问题,是依赖管理问题。

这是一篇长文,分三部分:

  1. 它是怎么一步步长出来的。 一套成熟的短剧制作流程怎么变成软件,时间线全部来自 Git 提交记录。
  2. 一次讲透 AI 短剧是怎么做出来的,又为什么难。 竖屏短剧的结构、出海的行业数据、生成链路、一致性为什么会崩、业内常见的几种解法,以及视频生成接口在成本、延迟和失败上的真实状况。不懂扩散模型也能看懂。
  3. 我的解法:7 个阶段、资产优先的架构,三条命令部署,外加一节诚实的“还做不好的地方”。

赶时间的话,直接跳到第三部分。

  • 仓库:https://github.com/charliewwdev/OpenMontage
  • 演示站:https://openmontage.dtok.io

第一部分:一个工作台是怎么长出来的

起点:生成一个镜头,和做完一集短剧

直觉上,这件事好像不难:模型已经能生成像样的 5 秒视频了,把剧本拆成镜头,一个个生成,再拼起来,不就是一部短剧吗?

可一旦动手就会发现,生成一个镜头和做完一集短剧,中间隔着一整个制片流程。

流程不用发明,短剧行业早就有了

这个制片流程,短剧行业早就有了,而且很成熟:先有剧本,再选角、定妆,然后定场景、备道具,接着画分镜、拍镜头,最后配音、剪辑。每一步交给下一步的都是确定的东西:定好的妆、搭好的景、备好的道具。没有哪个剧组会在每场戏开拍前重新描述一遍主角长什么样。

所以我做的事,说穿了不是发明一套新流程,而是把一套已经被短剧行业验证过的制作流程,原样搬进软件里,让 AI 去承担其中能承担的那部分活。Drama Studio 的 7 个阶段,剧本、角色、场景、道具、分镜/镜头、配音、剪辑,就是这条流程的一一对应。

反过来看,如果把每个镜头当成一次独立的请求,就很难做好短剧,问题往往不在模型够不够好。剧组靠定妆照和道具单记住“主角是谁、东西长什么样”,软件也得有同样的记忆:角色长什么样、场景在哪、哪个道具出现过,都得被记住,并且被每一个后续镜头引用。

23 天的提交记录

Drama Studio 的代码主要在仓库的 studio/ 目录下。我翻了一遍这个目录的 Git 历史,把关键节点列在这里,日期取自提交记录和 GitHub Release(按 UTC 计):

日期(2026)发生了什么
10 月 12 日studio/ 目录的第一批提交:短剧管线、工作台雏形,当天就做成了能部署的版本
10 月 13 日API 从 Python 标准库的 HTTP 服务迁到 FastAPI;把产品配置集中到一处,提交信息里写的是 “ban hardcoding”;加上一键进入的 Demo 用户
10 月 16 日媒体队列改成持久化的;出视频之前先检查镜头提示词和台词、资产对不对得上;让定妆图任务排在视频任务前面,参考图失败就不再白白消耗视频生成
10 月 17 日加了任务队列页面,用 WebSocket 实时刷新进度
10 月 26 日发布 v0.1.0,第一个公开版本
11 月 1 日Docker Compose 一键部署,自带 MinIO,本地默认开演示登录
11 月 4 日英文界面合并进主分支,界面可以中英文切换

截至 11 月 4 日,studio/ 目录一共有 103 次提交。

这张表里藏着踩过的坑。光看 10 月 16 日那几条提交信息就知道当时在解决什么:任务丢了要能接着跑,提示词写错了要在出片前发现,参考图不行就别急着生成视频。这些都不是模型层面的问题,而是一条生产线要能稳定运转必须补上的工程活。

为什么开源,为什么是 AGPL-3.0

Drama Studio 以 AGPL-3.0 协议开源。这个协议的意思很直接:你可以用、可以改、可以自己部署;但如果你把改过的版本做成网络服务给别人用,就得把源码也给到用户。

对一个需要自己部署、自己接模型 Key 的工具来说,代码公开也意味着你能看清楚每一步在做什么:提示词怎么拼、参考图怎么传、任务怎么排队。这些在下面的科普和架构部分我都会讲到。

好,故事先讲到这。下面进入正题:AI 短剧到底难在哪。


第二部分:科普,AI 短剧是怎么做出来的,又为什么这么难

1. 先认识竖屏短剧

竖屏短剧是为手机屏幕设计的剧集形态,画幅 9:16,单集很短,一部剧有很多集。它和传统影视最大的不同在于节奏是按“划走”来设计的:观众的拇指就悬在屏幕上,随时准备划到下一个视频。

所以竖屏短剧有几条几乎写进行规的结构:

  • 前 3 秒钩子。 开场就要抛出冲突、反转或者悬念,不铺垫。打脸、身份揭穿、一句狠话,都是常见的开法。
  • 分集卡点。 每一集结尾停在一个“接下来会怎样”的地方,让人点开下一集。
  • 强情绪、快节奏。 镜头切得快,台词短,人物关系一眼能看懂。
  • 人物高度固定。 观众记住的是“那个左眉有疤的男主”。一部剧几十上百个镜头,主角要始终是同一个人。

最后一条,正是 AI 生成最容易出问题的地方。

2. 短剧出海:数据怎么说

竖屏短剧不只是国内的生意。过去两年,一批中国公司做的短剧 App 在海外跑了出来,ReelShort(中文在线旗下[4])和 DramaBox 是其中最常被提到的两个。下面的数字全部来自 Sensor Tower 的公开报告,注意它们的统计口径:只算 App Store 和 Google Play 的应用内购买估算,不含广告收入、第三方安卓商店和官网等其他渠道的付费[1]。

  • 2025 年第一季度,全球短剧 App 的应用内购收入约 7 亿美元,2024 年第一季度是 1.78 亿美元[1]。
  • 同一季度,ReelShort 和 DramaBox 的应用内购收入分别约 1.3 亿和 1.2 亿美元,在海外短剧 App 收入榜上排第一、第二;截至 2025 年 3 月,两者的全球累计应用内购收入分别约 4.9 亿和 4.5 亿美元[1]。
  • 美国是收入最高的单一市场,2025 年第一季度约 3.5 亿美元,接近全球短剧 App 总收入的一半[2]。
  • 2025 全年,Sensor Tower 在《State of Mobile 2026》里给出的数字是:短剧类 App 应用内购收入 29.8 亿美元,同比增长 115%[3]。

还有一个细节值得开发者注意。同一份 2025 年报告分析一款新秀 App 的增长时,提到的因素包括本地化、多语言字幕和高频更新[2]。换句话说,出海短剧拼的不只是剧本,还有把同一部剧快速做成多种语言版本的能力。

我要说清楚一点:这些数字描述的是整个行业,和 Drama Studio 没有任何关系。没有哪部爆款是用它做的,它也不能保证你的剧能火。我放这一节,是因为它解释了为什么“低成本、可重复地生产短剧”这件事值得用工程的方式认真对待。

3. 一条典型的 AI 短剧生成链路

把一部 AI 短剧拆开看,大致是这样一条链:

一句话想法
  → LLM 写剧本(梗概、分集、每集的镜头和台词)
  → 文生图:生成角色定妆图、场景图、道具图(参考图)
  → 图生视频:带着参考图生成每一个镜头
  → TTS:生成旁白和对白
  → 剪辑:把镜头和声音排到时间轴上,导出成片

每一环用的模型不同,擅长的事也不同:

  • 大语言模型(LLM) 擅长结构化写作。它能按要求把一个故事拆成集、把一集拆成镜头,给每个镜头写好景别、运镜、台词。它不碰像素。
  • 文生图模型 根据文字生成静态图。在短剧里,它最重要的产物不是成片画面,而是参考图:角色长什么样、场景什么光线、道具什么材质。
  • 图生视频模型 以一张或几张图作为条件,生成一段几秒钟的动态画面。参考图在这里决定了“画面里是谁”。
  • TTS(文本转语音) 把台词变成声音。
  • 剪辑 是最“传统”的一环,通常用 FFmpeg 这样的工具,把片段、配音、字幕合成一个文件。

看上去是一条流水线,但每一环的输出都会影响下一环,而且越往后越贵。

4. 一致性为什么会崩

这是全文最重要的一节。理解了它,你就理解了为什么“输入提示词、输出视频”的工具做不好短剧。

原因一:每次调用都是一次失忆

现在主流的图像和视频生成模型,大多是扩散模型。粗略地说,它从一团随机噪声出发,在文字(和图像)条件的引导下,一步步把噪声“去”成画面。

关键在于:模型本身不记得上一次生成了什么。 第 3 镜和第 30 镜是两次独立的调用,模型并不知道它们属于同一部剧。你在第 3 镜里得到的那张脸,只是那一次随机过程的结果,没有任何东西保证第 30 镜会再得到它。

原因二:文字描述一张脸,本来就不够

“黑发、白衣、左眉有疤、二十多岁、眼神冷”,这段描述能对上的脸有无数张。文字是一种很“宽”的约束:它能限定类别,却很难精确限定身份。

而且模型对属性的理解并不总是精确的。属性多了以后,有的会被忽略,有的会张冠李戴,比如疤跑到了另一个人脸上,或者白衣变成了白发。

原因三:提示词漂移

真实的制作里,提示词不会一字不改。每个镜头要描述不同的动作、表情、景别和环境,为了写清楚这些,角色描述往往被压缩、改写或者省略。镜头越多,这种漂移越大。第 30 镜的提示词,可能早就不是第 3 镜那个版本了。

原因四:随机种子

扩散模型的初始噪声由随机种子决定。种子不同,同样的提示词也会得到不同的结果。固定种子能让“同样的输入得到同样的输出”,但短剧里每个镜头的输入本来就不同,固定种子并不能锁住一个角色的身份。

原因五:镜头内一致,不等于镜头间一致

视频模型在一段几秒的片段内部,通常能让人物保持稳定,这是模型本身在时间维度上做的事。但短剧需要的是跨片段一致:几十个独立生成的片段之间,人物、服装、场景、道具都对得上。这超出了单次调用的能力范围,必须由调用之外的系统来保证。

5. 业内常见的几种解法

既然单次调用管不了,大家就在调用之外想办法。常见的路子有这么几类,各有取舍。

参考图(图像条件)

最直接的办法:先为角色生成或挑出一张满意的定妆图,之后生成每个镜头时,把这张图作为条件一起交给模型。很多图生视频接口都支持传入参考图。

  • 好处:不需要训练,接入成本低,换角色就是换一张图。
  • 局限:参考图能拉住大方向,但不保证每个细节都完全一致;角色换了角度、表情、光线,仍然可能有偏差。

LoRA 微调

LoRA 是一种轻量的微调方法:用同一个角色的若干张图,训练一个很小的附加权重,让模型“学会”这个角色。之后生成时加载这个 LoRA,角色就更容易稳定。

  • 好处:对单个角色的约束通常比单张参考图更强。
  • 局限:要准备训练图、要训练时间和算力,每个角色都要单独训;一般需要你能控制模型权重,所以多用在自己部署的开源模型上,很多闭源的云端接口并不开放这个能力。

IP-Adapter 一类的图像提示适配器

这类方法不训练角色本身,而是给模型加一个适配器:把参考图编码成特征,通过注意力机制注入到生成过程里,相当于让模型“看着这张图画”。IP-Adapter 是其中比较有代表性的一个,社区里也有专门针对人脸身份的变体。

  • 好处:不用为每个角色训练,即插即用。
  • 局限:和底模、版本强相关,通常用在自己能改工作流的环境里,比如 ComfyUI。

首尾帧控制

一些视频模型允许你指定片段的第一帧,有的还能指定最后一帧。做法是:先生成(或挑出)关键帧,再让模型在帧与帧之间补出运动。相邻镜头之间,还可以拿上一个镜头的末帧去做下一个镜头的首帧,让衔接更顺。

  • 好处:对画面的控制更直接,适合需要精确衔接的镜头。
  • 局限:要先准备好关键帧,流程变长;对长距离(比如第 3 镜和第 30 镜)的一致性,仍然要靠关键帧本身是一致的。

这些方法的共同点

仔细看会发现,所有办法本质上都在做同一件事:把“角色是谁”从易变的文字里拿出来,变成一个稳定的、可以被反复引用的东西。 可能是一张图,可能是一份权重,可能是一组关键帧。

这就是我前面说的“依赖管理”。

6. 视频生成的现实:贵、慢、会失败

除了一致性,做过的人还会撞上另外三堵墙。这里只讲定性的情况,具体价格和速度各家差别很大,也在不停变化,请以各厂商的官方说明为准。

贵。 主流的高质量视频生成接口基本是按调用、按时长或按分辨率计费的。一集短剧要几十个镜头,再算上不满意要重来的次数,成本很快就上去了。所以“哪一步可以少重跑”直接等于省钱。

慢。 生成一段几秒的视频,等待时间通常比生成一张图长得多,而且高峰期还要排队。如果前端一直挂着一个请求等结果,体验会非常糟糕。

会失败。 失败的原因五花八门:内容审核拦截、超时、限流、参考图不合格、返回的画面明显不对。在批量生成几十个镜头时,偶发失败几乎是必然的。

这三点合起来,意味着一个短剧工具必须做到:异步执行、单点重试、尽量在花大钱之前发现问题。

7. 把问题对上解法

把上面的问题整理成一张表,就是我设计 Drama Studio 时的需求清单:

问题根因系统层面要做的事
角色换脸每次调用独立,文字约束太宽角色先做成资产,用参考图约束每个镜头
场景、道具对不上同上,且常被提示词省略场景、道具也做成独立资产,镜头显式引用
提示词漂移每个镜头的描述各写各的镜头只引用资产,生成前检查提示词有没有写错写丢
改一处要整集重来没有状态,没有版本每一步的产物入库,带版本,可回退可重跑
贵、慢、会失败视频接口的天然属性异步队列、单镜头重试、便宜的步骤排在贵的步骤前面

第三部分:我的解法

核心思路:把角色当成依赖,而不是描述

写代码的人都懂这个道理:你不会在每个文件里把一个函数复制一遍,你会 import 它,并且锁住版本。

短剧也一样。在每个镜头的提示词里反复写“黑发、白衣、左眉有疤”,相当于把同一段代码复制粘贴三十次,然后祈祷每次编译结果一致。

我的做法是反过来:

  1. 角色、场景、道具先单独做成资产。 每个资产生成一张参考图,人工确认一次,保留版本历史。
  2. 镜头只引用资产。 生成镜头时,把资产库里的参考图和镜头提示词一起交给视频模型。
  3. 改资产就是升版本。 下游镜头知道自己引用的是哪一版,回退、重跑都有依据。

规则只有一条:下游只读上游的产物,不读上游的提示词。

7 个阶段,每一步都有产物

这 7 个阶段对应的就是短剧实际的制作顺序:剧本 → 选角定妆 → 场景 → 道具 → 分镜 → 配音 → 剪辑。区别只在于,每一步的产物都被存成了可以引用、可以回退的数据。

#阶段产物
1剧本题材、画幅、视觉风格、梗概,分集剧本(可续写、重写、锁定)
2角色定妆参考图(Seedream,或你自己的 ComfyUI),保留版本历史
3场景空间、光线设定和场景概念图
4道具关键道具和材质细节
5分镜/镜头LLM 拆镜头,Seedance 结合角色、场景、道具参考图生成每个镜头
6配音旁白和对白 TTS(默认 edge-tts,也能换成 OpenAI 兼容的语音接口)
7剪辑在时间轴上排片段,FFmpeg 导出整集

界面上,1 到 4 各占一个标签页,5 到 7 合在“工作台”里按片段一起做,所以你在顶栏会看到 8 项。

项目页:阶段标签

一个小细节:花钱之前先查一遍

第二部分说过,视频生成贵且会失败。所以在真正调用视频模型之前,Drama Studio 会先过一道检查,代码在 studio/server/prompt_consistency.py。它不额外调用模型,只做确定性的规则检查:

  • 台词里说话的角色,必须出现在镜头提示词里;
  • 台词提到了一个看得见的证据,比如伤疤、戒指、信,提示词里就必须让它出现在画面上;
  • 台词没提到的道具,比如手机、屏幕,不能抢了镜头;
  • 提示词里用 @名字 引用的角色、场景、道具,必须在资产库里真实存在。

还记得开头那道疤吗?如果台词里说到了疤,而提示词把它写丢了,这一步就会拦下来,而不是等视频生成完再发现。

同样的思路也用在任务排序上:队列会让定妆图这类静态图任务先跑,参考图不合格,就先回头出图,不急着出片。studio/server/job_queue.py 里有一句注释说得很直白:参考图失败,片子就过不了质检。

架构:每个组件对应一个痛点

  React UI (studio/src)
       │
       ▼
  FastAPI (studio/server) ──▶ PostgreSQL  (projects · studio_kv · meta)
       │            └──────▶ Redis       (media job queue)
       └──▶ MinIO / S3     (inspire · media blobs)

PostgreSQL 管状态,对付“改一处要整集重来”。 剧本、资产、镜头、版本都是结构化数据。任何一步都能回退、重跑、切换版本,改一个角色不用整集重来。

Redis 队列管媒体任务,对付“贵、慢、会失败”。 图像和视频请求丢进队列,由单独的 media worker 执行,前端只看任务状态,任务队列页面会实时刷新进度。一个镜头失败,只重试那一个。

MinIO / S3 管文件。 参考图、镜头视频、成片都放对象存储,数据库只存引用。

一个 YAML 管流程。 导航、工作台阶段、工具和文案集中在 studio/config/platform.yaml。想加一个阶段或改名字,不用满前端找字符串。界面的中英文文案也走配置。

模型可插拔。 文本模型走 OpenAI 兼容接口,DeepSeek、OpenAI、Claude、Gemini、通义、豆包、Kimi、GLM、MiniMax、OpenRouter 都能接,在“模型配置”里按账号设置,支持连接测试和热加载。图像也可以接你自己的 ComfyUI,如果你习惯在 ComfyUI 里用 LoRA 或 IP-Adapter,那是你自己工作流的事,Drama Studio 只负责调用和管理产物。

路径内容
studio/前端和 API
studio/config/platform.yaml导航、阶段、工具、文案
pipeline_defs/ · skills/Agent 管线和导演技能
lib/ · tools/工具注册

跟着一个项目走一遍

下面用演示站里的项目《天帝归位》,把流程走一遍。

1. 一句话起项目。 在创作 Agent 里输入“10 集复仇爽剧,9:16,前 3 秒要有钩子”。Agent 会定好题材、集数、画幅,并检查哪些模型已经配好。也可以直接上传自己写的剧本。

创作 Agent

2. 剧本定稿。 先定底稿,再按集、按镜头分条写。定稿后还能续写或重写,锁定的部分不会被误改。

剧本

3. 做资产。 每个角色一张定妆参考图,每个场景一张空镜参考图。提示词随时能看、能改,改完就是新版本。

角色定妆

4. 分镜工作台。 这是“依赖”真正起作用的地方。资产库里的角色、场景、道具直接引用进镜头,景别、运镜、台词一镜一镜写清楚,再交给 Seedance 生成。

分镜工作台

5. 配音和剪辑。 在时间轴上点一下切换片段,点播放直接预览配好音的片段,最后导出整集。

6. 从上往下看全局。 七个阶段也能放到无限画布上用节点图看,节点颜色就是进度。

无限画布
不想一步步点的话,可以让 Agent 在后台把整条线跑完,你再回头挑某一步重跑。因为每一步都有产物,重跑的成本只落在那一步上。

一个假设的场景:海外短剧小团队怎么用

以下是假设的使用流程,用来说明 7 个阶段怎么串起来,不是真实案例,也不代表任何效果承诺。

假设你是一个想做海外短剧的小团队:一个人写剧本,一个人管画面,目标是面向北美观众的一部英文竖屏短剧。一集会这样走过 7 个阶段:

  1. 剧本。 在创作 Agent 里用中文把想法说清楚,比如“霸总甜宠,9:16,女主是咖啡店店员,第一集结尾揭穿男主身份”。Agent 定好题材、集数和画幅。你可以要求文本模型把分集剧本和台词写成英文,团队再逐集审稿、改稿,确认后锁定。
  2. 角色。 为男女主各出一张定妆参考图,按目标观众调整长相、服装和妆容,满意了就确认这一版。之后每个镜头都引用它。
  3. 场景。 咖啡店、写字楼大堂、夜景街道,各出一张空镜参考图,定好光线。
  4. 道具。 第一集的关键道具,比如一张写着名字的工牌,单独做成资产。台词里提到工牌,生成前的检查就会要求镜头提示词里写到它。
  5. 分镜/镜头。 在工作台里一镜一镜排:景别、运镜、英文台词。资产库里的角色、场景、道具引用进来,再交给 Seedance 生成。某个镜头失败或不满意,只重跑那一个。
  6. 配音。 这一步要提前说清楚:默认的 edge-tts 配置里,角色音色目前是中文音色,旁白音色可以通过 EDGE_TTS_VOICE 换掉。做英文剧,更稳妥的做法是接一个 OpenAI 兼容的语音接口来出英文配音。
  7. 剪辑。 在时间轴上排好片段,预览,导出整集。

整个过程里,团队里习惯中文的人可以用中文界面,合作的海外同事可以在界面上切到英文。界面语言和剧的语言是两件事:界面切换管的是按钮和菜单,剧本、台词这些内容是你自己写进去的。

想再出一个西班牙语版本?角色、场景、道具这些资产已经在库里了,主要是重做台词、配音和需要重生成的镜头。这正是资产优先的设计想省下的那部分工作。至于具体能省多少,取决于你的剧本和镜头,我不想给你一个编出来的数字。

三条命令跑起来

git clone https://github.com/charliewwdev/OpenMontage.git && cd OpenMontage
cp studio/.env.example .env        # 填上你的模型 Key,其他用默认值
docker compose -f docker-compose.studio.yml up --build

打开 http://localhost:8787,本地默认开着演示登录,点 Demo 就能进。健康检查是 GET /api/health。

开跑之前,先看清楚 Compose 帮你带了什么、没带什么:

docker-compose.studio.yml 里有吗?
Studio(UI + API)和 media worker✅ 从仓库构建
PostgreSQL 16✅
Redis 7✅
MinIO 对象存储✅(也可以换成自己的 S3)
文本大模型 Key❌ 自己提供
图像 + 视频生成❌ 自己提供火山方舟 Key(Seedream / Seedance,付费 API);图像也可以接自己的 ComfyUI
TTS默认 edge-tts,不需要 Key

两句提醒:MinIO 默认账号是 minioadmin,演示登录默认开启,放到公网前一定改密码,按需关掉演示登录(STUDIO_DEMO_ENABLED)。部署到服务器时,STUDIO_PUBLIC_URL、API_BASE_URL、MINIO_* 换成你自己的。模型费用直接付给模型厂商。

它现在还做不好的地方

这一节我写得比别的都认真,因为你迟早会自己发现。

  • 成本不低。 视频和图像依赖付费的 Seedance / Seedream,一集的花费取决于镜头数和时长。建议先拿三五个镜头试水,再决定要不要整集跑。
  • 参考图不是银弹。 第二部分讲过,参考图能拉住大方向,但角度、表情、光线变化大的时候,细节仍然可能偏。现在的做法是靠资产确认和生成前检查把问题尽量拦在前面,不能保证每个镜头都完美。
  • 失效传播还比较粗。 改了剧本以后,下游哪些镜头要重做,现在主要靠阶段状态和版本来管。真正细到“这一句台词只影响这两个镜头”的依赖追踪,还没做。
  • 多语言还不完整。 界面能中英文切换,但内置的 edge-tts 角色音色目前是中文的,做外语剧的配音最好接外部语音接口;系统内部的部分提示词和文档也还是中文。
  • 质检提示有点吵。 会标出一些其实能用的片段,正在调。
  • 部署门槛不算低。 要自己准备服务器和模型 Key。如果你只是想看看,先去演示站逛一圈更省事。

这是 v0.1.0。我更愿意让你带着准确的预期来试,而不是带着失望走。

协议和下一步

项目以 AGPL-3.0 协议开源。如果你把修改后的版本作为网络服务提供给别人用,AGPL-3.0 第 13 条要求你向用户提供源码。

如果你在做 AI 短剧、出海短剧,或者只是对视频生成的工程问题感兴趣,欢迎来试试。

我也很想听听你是怎么解决一致性的。参考图、LoRA、IP-Adapter、首尾帧,还是别的路子?评论区聊,或者直接开 issue,踩到的坑和想要的功能我都会看。

  • 仓库:https://github.com/charliewwdev/OpenMontage
  • 演示站:https://openmontage.dtok.io

参考资料(数据均为第三方估算,访问于 2026 年 11 月)

  1. Sensor Tower,《State of Short Drama Apps 2025 Report》,2025 年:https://sensortower.com/blog/state-of-short-drama-apps-2025
  2. Sensor Tower,《State of Short Drama Apps Overseas 2025 Report》(PDF),2025 年:https://downloads.ctfassets.net/vfkpgemp7ek3/6cNlWw8314o8FX2cNa1OlE/14111704149f364f862ad9650f395bc5/State_of_Short_Drama_Apps_Overseas_2025_Report.pdf
  3. Marketing Dive,《Microdrama apps stand out on mobile: Here’s what the numbers say》,2026 年 2 月 20 日,引用 Sensor Tower《State of Mobile 2026》:https://www.marketingdive.com/news/microdrama-apps-stand-out-on-mobile-heres-what-the-numbers-say/812610/
  4. 电影界,《2025短剧出海:头部吃肉,腰部喝汤,还是全员内卷?》,2025 年 9 月 18 日:https://www.dianyingjie.com.cn/2025/0918/396942.shtml
Seedance 2.5接入天工短剧工作台:AI短剧生产降本与工作流解析 AI视频生成技术正逐步从单点工具向完整生产工作流演进,其核心原理在于通过大模型将文本、参考图等输入转化为连续镜头。但在实际工程中,素材管理、参数控制与成本核算往往比模型效果更影响产出效率。随着模型接入云端工作台,创作者无需本地部署即可调用生成能力,同时借助统一的脚本拆解、批量生成和导出流程,显著降低短剧制作门槛。尤其对于批量生产团队,价格折扣与计费口径直接影响试错成本,需要以成片为单位进行对比测试。Seedance 2.5接入天工短剧工作台,正是这一趋势下的典型落地案例,将视频生成质量与生产链路整合,帮助创 阅读详情

相关推荐

2025-08-19利用opencv检测图片中文字及图片的坐标

该代码实现了图片中中文文本的检测与位置计算功能。主要使用CnOcr库进行OCR识别,结合OpenCV和PIL库处理图像。功能包括:1)检测图片中的中文文本及位置坐标;2)计算每个文本的像素宽度和高度;3)在原图上绘制文本边界框并标注识别结果。代码通过put_chinese_text函数解决中文显示问题,最终输出各文本内容、坐标位置及尺寸信息。适用于需要获取图片中文字精确位置的应用场景。

m0_58149406的博客 396

Deep-Live-Cam 零基础实操指南:一张照片驱动实时 AI 换脸

只需一张清晰的人脸照片,就能在摄像头画面、视频文件和电影片段里实时替换人脸——开源项目 Deep-Live-Cam 把过去需要专业设备和数小时渲染的 AI 换脸,压缩成了图形界面里的三次点击。这篇指南将从环境准备讲到效果调优,再附上常见报错排查清单,帮你快速跑通自己的第一次实时 AI 换脸。 ## 它到底帮你解决什么问题:三个真实场景速览 先别急着装环境,我们看看这个工具能落地的场景,判断它是

gitblog_00665的博客 982

【学长笔记】关于车牌识别的CCPD数据集按比例划分

本文介绍了一个用于CCPD车牌数据集划分的Python脚本,主要功能包括:1) 将数据集按比例划分为训练集、验证集和测试集;2) 支持图像与标签文件校验;3) 可自定义划分比例和样本数量限制;4) 自动生成标准目录结构。脚本使用随机种子确保可重复性,并通过tqdm显示进度条。处理后数据可直接用于YOLO等目标检测模型的训练与评估,建议在预处理完成后立即执行划分以避免数据泄露。文章还提供了相关技术博客的参考链接。

apple_53308981的博客 1480

一张照片3分钟:实时换脸跑通的 fastest 路径

想看电影时把主角换成你手上有照片的那个人?这就是 Deep-Live-Cam:一个免费开源的实时换脸工具,一张源图就能换摄像头直播和整段视频。跟着本文操作,3 分钟出第一支换脸视频,还知道怎么把帧率在你的硬件上榨出来。 ## ⚡ 最快上手路径 先看门槛,全部达标再往下走: - 内存 8GB 起步;纯 CPU 也能跑(约 2-5 FPS),有独显才谈得上流畅 - Python 3.11-3.1

gitblog_00997的博客 379

MT5交易软件系统源码

Manager配置的功能及权限:管理客户、开户,销户、入金、信用额度、修改定单、人工交易报表、设定点差、强制平仓、修改密码,设定持仓交割单或挂单小止盈止损点数;26、修改价格 27、更改K线图历史价格 28、同步历史数据;2、系统设置 3、交易管理 4、交易柜台 5、价格更改 6、多台服。务器联机 7、恢复交易历史 8、数据源调整 9、备份服务调整 10、交易市场设定 11、交易单更改 12、平台时间设定(全世界) 13、可添加商品;15、设置商品利息;独立主机(服务器、VPS、VM)

tutujunjun的博客 904

如何通过Davinci Configurator来新增一个BswM仲裁规则

详细介绍如何通过Davinci Configurator来新增一个BswM仲裁规则。

initiallizer的博客 773

免费实时换脸3步上手:Deep-Live-Cam单图神器,秒变视频主角

想没想过,只用一张照片,就能在直播镜头里、在电影片段里、在任何一段视频里看到"另一个你"?开源项目 Deep-Live-Cam 做的就是这件事——实时换脸,而且全程只需要一张人脸图片作为素材,普通人也能在几分钟内跑通。 第一次上手这类工具的人,最容易被三个问题劝退:不知道装什么、不知道点哪里、更不知道"源脸"和"目标"到底该先选哪个。 先别急着划走。这篇文章不打算罗列功能清单,而是按"先解决困

gitblog_00218的博客 316

外骨骼机器人(五):步态分析之正常步态

研究病理步态之前,需要了解正常步态,作为判断标准。但是需要记住两个问题:1.“正常”因人而异,性别、年龄、身体情况都需要考虑在内,因此,需要对不同的个体选择合适的正常标准;2.即使病人的步态与正常步态有某种不同,这也不能说明这是不可取的,也不能说明应该把它变成“正常”步态。许多步态异常是对病人的一些问题的一种补偿,尽管异常,但它们仍然是有用的。步态周期的定义是连续为两次发生重复行走事件之间的时间间隔。尽管可以选择任何事件来定义步态周期,但通常使用一只脚接触地面的瞬间(“初始接触”)是方便的。

行者无疆的博客 1998

终极指南:3步实现实时AI换脸,让你的摄像头变身魔法镜

想在视频通话中瞬间变成另一个人吗?想为直播添加炫酷的虚拟形象特效吗?Deep-Live-Cam就是你需要的魔法工具!这款革命性的AI换脸软件让实时人脸替换变得前所未有的简单,只需一张照片就能在摄像头中创造无限可能。 **核心关键词**:AI换脸、实时人脸替换、Deep-Live-Cam、摄像头特效、视频深度伪造 **长尾关键词**:手机AI换脸工具、实时摄像头特效、一键视频深度伪造、iOS

gitblog_00942的博客 466

51单片机 DHT11温湿度传感器LCD显示+串口打印+Proteus仿真

DHT11+LCD1602+串口输出+Proteus仿真

perseverance51博客 7198

C#与欧姆龙PLC 通信——Fins Tcp协议

该调试助手专门为了帮助大家学习以及测试Fins-Tcp通信,下面进行详细介绍。

qq_34059233的博客 2087

只用一张照片就能实时换脸?Deep-Live-Cam 免费开源AI工具完整上手指南

如果你还在为"给视频换张脸"这件事发愁,那么 Deep-Live-Cam 值得你认真了解:这是一款免费开源的实时AI换脸工具,只需一张正面人脸照片,就能在摄像头直播、本地视频甚至电影片段中完成无缝人脸替换。本文会从零带你把它跑起来,再分享几个让效果更惊艳的进阶技巧,顺便把新手最容易踩的坑提前帮你踩平。 ### 先从一次"深夜翻车"说起 凌晨一点,你终于剪完一段想发出去的视频,可总觉得自己出镜太

gitblog_01134的博客 489

DSShop移动商城网店系统 反序列化RCE漏洞复现

DSShop单店铺移动商城网店系统的getCartList方法的cart参数存在php反序列化漏洞,攻击者可以通过漏洞执行任意代码,获取服务器权限。

0xSec 1472

真人短剧两个月没出一部爆款,AI短剧霸榜红果TOP5:短剧江湖正在换主角

AI短剧正快速崛起,8月红果短剧热播榜前三均被AI作品占据,且热度破亿的AI短剧数量已超过真人短剧。榜单前十全是续集,更新速度远超真人剧。供应端一年内从655部暴增至7.4万部,题材也从男频扩展到女性向。真人短剧受保底机制调整影响,开机量骤降75%。但AI短剧竞争激烈,仅1.3%能达到盈亏线。行业正快速洗牌,精品化和量产化将成为未来方向,视听质感的差异化将成为制胜关键。这场内容变革中,AI与真人短剧的较量才刚刚开始。

ruhilong的博客 1512

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Deep-Live-Cam|单图实时AI换脸,3 次点击出片

Deep-Live-Cam 是一个开源的实时AI换脸工具:给一张人脸照片,它就能让摄像头直播或整段视频在实时状态下"换主角",不需要你训练任何模型。 ## 换个 10 分钟 vlog 的主角,不训模型 你手头有一段 10 分钟的 vlog,想把主角换成朋友的脸,又不想从头训模型,更不想等渲染一晚上。传统换脸流程要么要 GPU 队列排队跑,要么要会写 PyTorch;而直播场景里,帧率稍低一点就

gitblog_00357的博客 660

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Deep-Live-Cam 实时换脸:一张照片,本地跑起来

Deep-Live-Cam 是一个本地换脸工具,一张正面照片就能驱动摄像头和视频的实时换脸,不用训练模型,纯 CPU 也能运行,数据全程不出你的电脑。 ## 两个你可能用到的时刻 直播开播前二十分钟,运营让你换个形象出场;或者你剪好了一段混剪,想把主角换成自己的脸,又不想去学跟踪和渲染。这两个场景不用建数据集,不用等模型训练——选一张源照片,指一个目标,直接出画面。摄像头模式是边拍边换,视频模

gitblog_00923的博客 1036

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

AI换脸骗过App,林俊杰和我们都怕

AI换脸有多简单,骗过App人脸识别系统的成本有多低,才让这种现象如何猖獗? 1.林俊杰把B站和UP主告了,就因为UP主用AI换脸技术制作了大量林俊杰的鬼畜视频。 2.AI换脸有多简单,骗过App人脸识别系统的成本有多低,才让这种现象如何猖獗? 3.其实,不仅明星忌惮,普通人也深受其害。江苏一小伙因为好奇跟骗子“过招”,结果一露脸就被骗子伪造了“裸聊视频”,只能乖乖交了11万。 AI换脸有多逼真?最深受其害的明星终于忍受不了了! 就在几天前,B站(哔哩哔哩)和B站上的一个UP主被林俊杰告了,而.

m0_46163918的博客 4319

Deep-Live-Cam 完整指南:如何用一张照片实现实时换脸

想在视频会议里"换一张脸",或者把电影里的主角换成指定的人?Deep-Live-Cam 是一个只凭一张人脸照片就能对摄像头或视频做实时换脸的开源工具,内置内容安全检查,三键即可开始。本文带你从安装到调参把它完整跑起来。 ## 它能做什么:三键实时换脸 Deep-Live-Cam(仓库当前开源版本 2.1.6)的定位很直接:你提供一张含有人脸的照片作为"源",它从摄像头或视频文件中检测人脸,逐帧

gitblog_00193的博客 856

一张照片就能实时换脸?免费工具 10 分钟上手

比如你是小主播,开播前突然想要一张节日限定形象;或者刚剪完一条混剪,只差主角那张脸。Deep-Live-Cam 是免费开源的实时换脸工具:一张正面照加三次点击,摄像头边拍边换,全程本地运行。跟着这份教程走,10 分钟装完跑通,读完直接开播。 ## 项目速览:实时换脸工具 Deep-Live-Cam Deep-Live-Cam 把实时换脸拆成检测、替换、出片三步,全在你电脑本地完成。给一张源脸照

gitblog_01064的博客 444

Deep-Live-Cam 教程:一张照片,在自己电脑上 10 分钟实现实时换脸

免费换脸工具 Deep-Live-Cam 只要一张照片就能实时换脸。一台普通电脑即可运行,装好依赖约 10 分钟。你可以得到实时换脸的直播画面,也能批量产出换脸后的视频,口型实时跟随,多人画面逐人替换。 ## 开始前:环境检查与素材清单 - [ ] **确认可用的硬件后端**:纯 CPU 能跑,只是慢一些;NVIDIA 显卡可启用 CUDA 加速;苹果芯片用 CoreML;Intel 平台用

gitblog_00324的博客 677

Deep-Live-Cam 从一张照片到实时换脸:安装教程与性能调优完整指南

给一段视频换脸,传统做法要跟踪、对齐、渲染走一遍,参数稍有偏差就得整段重来。Deep-Live-Cam 是一个免费开源的实时换脸工具,思路简单粗暴:给你一张正面照片,它就能在摄像头画面或视频文件上实时完成换脸,全部计算都在本地完成,不上传任何素材。 模型文件不大,首次运行会自动下载约 300MB,依赖也只有一份 requirements.txt。对一台普通电脑来说,装完到出效果基本在十分钟以内。

gitblog_00101的博客 1011

Deep-Live-Cam深度体验:3分钟开启你的AI换脸直播之旅

你是否曾梦想过在视频通话中瞬间变身成任何人?或者想在直播中体验一把当明星的感觉?Deep-Live-Cam正是为你实现这些创意想法的AI神器!这款开源软件让你仅需一张照片就能实现实时人脸交换和视频深度伪造,无论是娱乐创作还是内容制作,都能轻松上手。想象一下,你可以用朋友的脸参加视频会议,或者让电影角色在直播中与你对话——这一切都将在3次点击内完成。 ## 当你遇到这些问题,说明需要正确配置 很

gitblog_00619的博客 683

Deep-Live-Cam:一张照片实时换脸,免训练十分钟跑起来

昨晚朋友发来一条电影混剪,说想把主角的脸换成他自己的。我本来以为这活儿得找人剪辑,结果人家就用了张正面照、开个摄像头,跑了一下这个开源工具 Deep-Live-Cam——实时换脸,普通电脑就能办。 ## 它到底是什么 Deep-Live-Cam 是一个免费开源的实时换脸工具:只需一张清晰的人脸照片,不用训练模型,就能对摄像头画面做直播换脸,或批处理已有视频,全链路本地完成。几个关键特性先留个印

gitblog_00506的博客 346

国庆三天,我用人工智能做了一部短剧

三天能不能做出一部短剧?能,前提是目标别定太大、分镜别偷懒、预算心里有数。但如果你想做的不是“一部”,而是“一批”,那要解决的就不是生成工具的问题,而是诊断、流程、部署和人才的问题——这也是人工智能真正进入业务的开始。

aa8888888888nj的博客 425

一张照片就能让摄像头“换人“?Deep-Live-Cam 实时换脸实战

开播前想加点特效,传统剪辑工具却只能"渲染完再等半天"?**Deep-Live-Cam** 是个本地跑的实时换脸工具:丢一张照片进去,摄像头里你的脸实时变成照片里的人,视频文件也能整段替换。所有推理都在自己电脑上完成,不上传云端。 - **单图驱动**:一张源照片即可换脸,无需训练 - **真·实时**:推理速度贴近摄像头帧率,直播场景直接可用 - **多硬件路线**:NVIDIA / AMD

gitblog_01041的博客 1041

如何3步实现实时AI换脸:Deep-Live-Cam完整使用教程

想要体验电影级别的实时人脸交换技术吗?Deep-Live-Cam这款开源AI工具让你仅凭一张照片就能实现实时人脸交换和视频深度伪造!无论你是内容创作者、视频编辑爱好者,还是想体验AI换脸黑科技的普通用户,这款工具都能让你轻松上手。本文将为你提供从安装到实战的完整指南,让你快速掌握这款强大的实时AI换脸工具。 ## 🚀 快速开始:一键安装与配置 ### 环境准备与依赖安装 Deep-Live

gitblog_00856的博客 860
上一篇: 我们用 Flutter 90 天搭建了一个完整的短视频 + 直播 App —— 这是我们交付的成果
wclhack
博客等级 码龄18年 15粉丝 11原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值