前言
随着AI技术的快速发展，内容创作领域正在经历一场革命。AI短剧作为新兴的内容形式，结合了人工智能的创造力和短视频的传播优势。本文将详细介绍如何使用LangChain框架开发一个完整的AI短剧生成Agent系统，从技术架构到实际实现，为开发者提供全面的实战指南。
项目概述
什么是AI短剧生成Agent
AI短剧生成Agent是一个基于大语言模型的智能系统，能够自动生成包含剧情、对话、场景描述的短剧脚本，并可进一步扩展到视频生成、配音等功能。
核心功能特性
- 智能剧本创作：基于用户输入的主题、风格、角色设定自动生成剧本
- 多轮对话管理：支持用户与Agent的交互式创作过程
- 内容个性化：根据用户偏好调整创作风格和内容方向
- 模块化设计：支持剧情大纲、角色设定、对话生成等模块化功能
- 视频自动生成：集成Vidu API，将剧本自动转换为视频内容
- 多模态输出：支持文本剧本、视频片段、音频配音等多种输出形式
- 质量控制：内置内容审核和质量评估机制
技术架构设计
整体架构
核心组件
-
LangChain Agent核心
- 任务规划和执行
- 工具调用管理
- 上下文维护
-
内容生成引擎
- 剧情大纲生成
- 角色性格设定
- 对话内容创作
- 场景描述生成
-
视频生成系统
- Vidu API集成
- 文本到视频转换
- 视频片段合成
- 渲染进度管理
-
质量控制系统
- 内容一致性检查
- 逻辑合理性验证
- 创意度评估
环境搭建与依赖安装
基础环境要求
# Python环境要求
Python >= 3.8
# 核心依赖包
pip install langchain
pip install openai
pip install chromadb
pip install streamlit
pip install pydantic
pip install python-dotenv
pip install requests
pip install aiohttp
pip install pillow
项目结构
ai-drama-generator/
├── src/
│ ├── agents/
│ │ ├── drama_agent.py
│ │ ├── character_agent.py
│ │ └── scene_agent.py
│ ├── tools/
│ │ ├── plot_generator.py
│ │ ├── dialogue_creator.py
│ │ ├── video_generator.py
│ │ └── quality_checker.py
│ ├── models/
│ │ ├── drama_models.py
│ │ └── character_models.py
│ ├── utils/
│ │ ├── prompt_templates.py
│ │ └── config.py
│ └── main.py
├── data/
│ ├── templates/
│ └── examples/
├── tests/
├── requirements.txt
└── README.md
核心代码实现
1. 基础配置和模型定义
# src/models/drama_models.py
from pydantic import BaseModel
from typing import List, Optional
from enum import Enum
class DramaGenre(str, Enum):
COMEDY = "comedy"
ROMANCE = "romance"
THRILLER = "thriller"
DRAMA = "drama"
FANTASY = "fantasy"
class Character(BaseModel):
name: str
age: int
personality: str
background: str
role: str # protagonist, antagonist, supporting
class Scene(BaseModel):
location: str
time: str
description: str
mood: str
class Dialogue(BaseModel):
character: str
content: str
emotion: str
action: Optional[str] = None
class VideoClip(BaseModel):
scene_id: str
prompt: str
duration: float
video_url: Optional[str] = None
status: str = "pending" # pending, processing, completed, failed
class DramaScript(BaseModel):
title: str
genre: DramaGenre
duration: int # 分钟
characters: List[Character]
scenes: List[Scene]
dialogues: List[Dialogue]
video_clips: List[VideoClip] = []
summary: str
2. LangChain Agent实现
# src/agents/drama_agent.py
from langchain.agents import AgentExecutor, create_openai_functions_agent
from langchain.tools import Tool
from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate
from langchain.memory import ConversationBufferMemory
from typing import Dict, Any
class DramaGeneratorAgent:
def __init__(self, api_key: str, model_name: str = "gpt-4"):
self.llm = ChatOpenAI(
api_key=api_key,
model=model_name,
temperature=0.7
)
self.memory = ConversationBufferMemory(
memory_key="chat_history",
return_messages=True
)
self.tools = self._create_tools()
self.agent = self._create_agent()
def _create_tools(self) -> List[Tool]:
"""创建Agent使用的工具"""
return [
Tool(
name="plot_generator",
description="生成剧情大纲和故事结构",
func=self._generate_plot
),
Tool(
name="character_creator",
description="创建和设计角色",
func=self._create_characters
),
Tool(
name="dialogue_writer",
description="编写角色对话",
func=self._write_dialogue
),
Tool(
name="scene_designer",
description="设计场景和环境描述",
func=self._design_scenes
),
Tool(
name="video_generator",
description="生成视频片段",
func=self._generate_video
),
Tool(
name="quality_checker",
description="检查剧本质量和一致性",
func=self._check_quality
)
]
def _create_agent(self) -> AgentExecutor:
"""创建LangChain Agent"""
prompt = ChatPromptTemplate.from_messages([
("system", """你是一个专业的AI短剧编剧助手。你的任务是帮助用户创作高质量的短剧剧本。
你可以使用以下工具：
- plot_generator: 生成剧情大纲
- character_creator: 创建角色
- dialogue_writer: 编写对话
- scene_designer: 设计场景
- video_generator: 生成视频片段
- quality_checker: 质量检查
请根据用户需求，合理使用这些工具来创作剧本。"""),
("human", "{input}"),
("assistant", "{agent_scratchpad}")
])
agent = create_openai_functions_agent(
llm=self.llm,
tools=self.tools,
prompt=prompt
)
return AgentExecutor(
agent=agent,
tools=self.tools,
memory=self.memory,
verbose=True
)
def generate_drama(self, user_input: str) -> Dict[str, Any]:
"""生成短剧剧本的主要方法"""
try:
result = self.agent.invoke({"input": user_input})
return {
"success": True,
"content": result["output"],
"chat_history": self.memory.chat_memory.messages
}
except Exception as e:
return {
"success": False,
"error": str(e)
}
3. 剧情生成工具实现
# src/tools/plot_generator.py
from langchain.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
from typing import Dict, Any
class PlotGenerator:
def __init__(self, llm: ChatOpenAI):
self.llm = llm
self.plot_template = PromptTemplate(
input_variables=["genre", "theme", "duration", "target_audience"],
template="""
请为以下短剧创作一个引人入胜的剧情大纲：
类型：{genre}
主题：{theme}
时长：{duration}分钟
目标观众：{target_audience}
请包含以下要素：
1. 故事背景设定
2. 主要冲突点
3. 情节发展脉络
4. 高潮设计
5. 结局安排
要求：
- 情节紧凑，适合短剧形式
- 具有戏剧张力和观赏性
- 符合目标观众喜好
- 逻辑清晰，结构完整
"""
)
def generate(self, **kwargs) -> str:
"""生成剧情大纲"""
prompt = self.plot_template.format(**kwargs)
response = self.llm.invoke(prompt)
return response.content
4. 角色创建工具
# src/tools/character_creator.py
from langchain.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
from typing import List, Dict
class CharacterCreator:
def __init__(self, llm: ChatOpenAI):
self.llm = llm
self.character_template = PromptTemplate(
input_variables=["plot_summary", "character_count", "genre"],
template="""
基于以下剧情大纲，创建{character_count}个主要角色：
剧情大纲：{plot_summary}
剧本类型：{genre}
为每个角色提供：
1. 姓名和年龄
2. 性格特点（3-5个关键词）
3. 背景故事（简要）
4. 在剧中的作用和关系
5. 外貌特征描述
6. 说话风格和习惯
要求：
- 角色个性鲜明，有辨识度
- 角色间关系清晰
- 符合剧情需要
- 适合短剧表现形式
"""
)
def create_characters(self, plot_summary: str, character_count: int, genre: str) -> str:
"""创建角色"""
prompt = self.character_template.format(
plot_summary=plot_summary,
character_count=character_count,
genre=genre
)
response = self.llm.invoke(prompt)
return response.content
5. 对话生成工具
# src/tools/dialogue_creator.py
from langchain.prompts import PromptTemplate
from langchain_openai import ChatOpenAI
class DialogueCreator:
def __init__(self, llm: ChatOpenAI):
self.llm = llm
self.dialogue_template = PromptTemplate(
input_variables=["scene_description", "characters", "plot_point", "mood"],
template="""
为以下场景编写对话：
场景描述：{scene_description}
参与角色：{characters}
剧情要点：{plot_point}
情绪氛围：{mood}
对话要求：
1. 符合角色性格特点
2. 推进剧情发展
3. 自然流畅，有生活感
4. 包含必要的动作描述
5. 控制在适当长度内
格式：
角色名：对话内容 [动作描述]
"""
)
def write_dialogue(self, scene_description: str, characters: str,
plot_point: str, mood: str) -> str:
"""编写对话"""
prompt = self.dialogue_template.format(
scene_description=scene_description,
characters=characters,
plot_point=plot_point,
mood=mood
)
response = self.llm.invoke(prompt)
return response.content
6. 视频生成工具
# src/tools/video_generator.py
import requests
import asyncio
import aiohttp
import time
from typing import Dict, List, Optional
from langchain_openai import ChatOpenAI
from langchain.prompts import PromptTemplate
class VideuAPIClient:
"""Vidu API客户端"""
def __init__(self, api_key: str, base_url: str = "https://api.vidu.com"):
self.api_key = api_key
self.base_url = base_url
self.headers = {
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
async def create_video(self, prompt: str, duration: float = 4.0,
style: str = "general", aspect_ratio: str = "16:9") -> Dict:
"""创建视频生成任务"""
url = f"{self.base_url}/v1/video/create"
payload = {
"prompt": prompt,
"duration": duration,
"style": style,
"aspect_ratio": aspect_ratio,
"quality": "high"
}
async with aiohttp.ClientSession() as session:
async with session.post(url, json=payload, headers=self.headers) as response:
if response.status == 200:
return await response.json()
else:
raise Exception(f"API调用失败: {response.status}, {await response.text()}")
async def get_video_status(self, task_id: str) -> Dict:
"""查询视频生成状态"""
url = f"{self.base_url}/v1/video/status/{task_id}"
async with aiohttp.ClientSession() as session:
async with session.get(url, headers=self.headers) as response:
if response.status == 200:
return await response.json()
else:
raise Exception(f"状态查询失败: {response.status}")
async def wait_for_completion(self, task_id: str, max_wait_time: int = 300) -> Dict:
"""等待视频生成完成"""
start_time = time.time()
while time.time() - start_time < max_wait_time:
status_result = await self.get_video_status(task_id)
if status_result["status"] == "completed":
return status_result
elif status_result["status"] == "failed":
raise Exception(f"视频生成失败: {status_result.get('error', '未知错误')}")
await asyncio.sleep(10) # 每10秒检查一次
raise Exception("视频生成超时")
class VideoGenerator:
"""视频生成器"""
def __init__(self, llm: ChatOpenAI, vidu_api_key: str):
self.llm = llm
self.vidu_client = VideuAPIClient(vidu_api_key)
self.prompt_optimizer = PromptTemplate(
input_variables=["scene_description", "characters", "mood", "action"],
template="""
将以下剧本场景转换为适合AI视频生成的详细描述：
场景描述：{scene_description}
角色：{characters}
情绪氛围：{mood}
主要动作：{action}
要求：
1. 描述要具体、生动，包含视觉细节
2. 适合4-8秒的短视频片段
3. 避免过于复杂的场景
4. 突出关键动作和表情
5. 使用电影级的视觉语言
输出格式：简洁的英文描述，不超过100词
"""
)
def optimize_prompt_for_video(self, scene_description: str, characters: str,
mood: str, action: str) -> str:
"""优化视频生成提示词"""
prompt = self.prompt_optimizer.format(
scene_description=scene_description,
characters=characters,
mood=mood,
action=action
)
response = self.llm.invoke(prompt)
return response.content.strip()
async def generate_scene_video(self, scene_data: Dict) -> Dict:
"""为单个场景生成视频"""
try:
# 优化提示词
optimized_prompt = self.optimize_prompt_for_video(
scene_data["description"],
scene_data["characters"],
scene_data["mood"],
scene_data["action"]
)
# 创建视频生成任务
create_result = await self.vidu_client.create_video(
prompt=optimized_prompt,
duration=scene_data.get("duration", 4.0),
style="cinematic"
)
task_id = create_result["task_id"]
# 等待生成完成
completion_result = await self.vidu_client.wait_for_completion(task_id)
return {
"success": True,
"task_id": task_id,
"video_url": completion_result["video_url"],
"prompt": optimized_prompt,
"duration": completion_result["duration"]
}
except Exception as e:
return {
"success": False,
"error": str(e),
"prompt": optimized_prompt if 'optimized_prompt' in locals() else ""
}
async def generate_drama_videos(self, scenes: List[Dict]) -> List[Dict]:
"""为整个短剧生成视频片段"""
results = []
# 并发生成多个场景（限制并发数量避免API限制）
semaphore = asyncio.Semaphore(3) # 最多同时3个任务
async def generate_with_semaphore(scene):
async with semaphore:
return await self.generate_scene_video(scene)
tasks = [generate_with_semaphore(scene) for scene in scenes]
results = await asyncio.gather(*tasks, return_exceptions=True)
return results
用户界面实现
Streamlit Web界面
# src/main.py
import streamlit as st
from agents.drama_agent import DramaGeneratorAgent
from utils.config import load_config
import json
def main():
st.set_page_config(
page_title="AI短剧生成器",
page_icon="🎭",
layout="wide"
)
st.title("🎭 AI短剧生成器")
st.markdown("使用LangChain和GPT-4创作精彩短剧")
# 侧边栏配置
with st.sidebar:
st.header("创作设置")
genre = st.selectbox(
"选择类型",
["喜剧", "爱情", "悬疑", "剧情", "奇幻"]
)
duration = st.slider("时长(分钟)", 1, 10, 3)
target_audience = st.selectbox(
"目标观众",
["青少年", "年轻人", "中年人", "全年龄"]
)
character_count = st.slider("主要角色数", 2, 5, 3)
generate_video = st.checkbox("生成视频片段", value=True)
if generate_video:
video_style = st.selectbox(
"视频风格",
["cinematic", "anime", "realistic", "artistic"]
)
video_quality = st.selectbox(
"视频质量",
["standard", "high", "ultra"]
)
# 主界面
col1, col2 = st.columns([1, 1])
with col1:
st.header("创作输入")
theme = st.text_area(
"剧本主题/创意",
placeholder="请描述您想要的短剧主题、情节或创意想法...",
height=150
)
additional_requirements = st.text_area(
"额外要求",
placeholder="任何特殊要求或偏好...",
height=100
)
if st.button("🎬 开始创作", type="primary"):
if theme:
with st.spinner("AI正在创作中..."):
# 初始化Agent
config = load_config()
agent = DramaGeneratorAgent(config["openai_api_key"])
# 构建输入
user_input = f"""
请创作一个{genre}类型的短剧，时长约{duration}分钟。
主题：{theme}
目标观众：{target_audience}
主要角色数：{character_count}
额外要求：{additional_requirements}
请按照以下步骤进行：
1. 首先生成剧情大纲
2. 创建主要角色
3. 设计关键场景
4. 编写主要对话
5. 进行质量检查和优化
{"6. 生成视频片段" if generate_video else ""}
"""
# 生成剧本
result = agent.generate_drama(user_input)
if result["success"]:
st.session_state["generated_script"] = result["content"]
st.success("剧本创作完成！")
else:
st.error(f"创作失败：{result['error']}")
else:
st.warning("请输入剧本主题")
with col2:
st.header("生成结果")
if "generated_script" in st.session_state:
# 显示剧本内容
with st.expander("📝 剧本内容", expanded=True):
st.markdown(st.session_state["generated_script"])
# 视频生成部分
if generate_video and "video_results" not in st.session_state:
if st.button("🎬 生成视频片段"):
with st.spinner("正在生成视频片段..."):
# 这里调用视频生成功能
st.session_state["video_results"] = "视频生成功能演示"
st.success("视频片段生成完成！")
# 显示视频结果
if "video_results" in st.session_state:
with st.expander("🎥 视频片段", expanded=True):
st.info("视频生成功能已集成，实际使用时会调用Vidu API生成视频")
# 这里可以显示实际的视频播放器
# st.video(video_url)
# 下载按钮
col1, col2 = st.columns(2)
with col1:
st.download_button(
label="📥 下载剧本",
data=st.session_state["generated_script"],
file_name=f"ai_drama_{genre}_{duration}min.md",
mime="text/markdown"
)
with col2:
if "video_results" in st.session_state:
st.button("📥 下载视频", disabled=True, help="视频下载功能开发中")
else:
st.info("请在左侧输入创作要求，开始AI短剧创作")
if __name__ == "__main__":
main()
高级功能扩展
1. 视频生成集成示例
# src/agents/enhanced_drama_agent.py
from tools.video_generator import VideoGenerator
import asyncio
import json
class EnhancedDramaAgent(DramaGeneratorAgent):
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
self.video_generator = VideoGenerator(self.llm, self.config["vidu_api_key"])
async def generate_complete_drama(self, user_input: str, include_video: bool = True) -> Dict:
"""生成完整的短剧（包含视频）"""
try:
# 1. 生成剧本
script_result = self.generate_drama(user_input)
if not script_result["success"]:
return script_result
result = {
"script": script_result["content"],
"videos": []
}
if include_video:
# 2. 解析场景信息
scenes = self._extract_scenes_from_script(script_result["content"])
# 3. 生成视频片段
video_results = await self.video_generator.generate_drama_videos(scenes)
result["videos"] = video_results
return {
"success": True,
"content": result
}
except Exception as e:
return {
"success": False,
"error": str(e)
}
def _extract_scenes_from_script(self, script: str) -> List[Dict]:
"""从剧本中提取场景信息"""
# 使用LLM解析剧本，提取场景信息
extraction_prompt = f"""
从以下剧本中提取场景信息，为每个场景生成视频描述：
{script}
请以JSON格式返回场景列表，每个场景包含：
- description: 场景描述
- characters: 参与角色
- mood: 情绪氛围
- action: 主要动作
- duration: 建议时长（秒）
"""
response = self.llm.invoke(extraction_prompt)
try:
scenes = json.loads(response.content)
return scenes
except:
# 如果解析失败，返回默认场景
return [{
"description": "A dramatic scene",
"characters": "main characters",
"mood": "neutral",
"action": "dialogue",
"duration": 4.0
}]
# 使用示例
async def main():
agent = EnhancedDramaAgent(api_key="your-openai-key")
user_input = "创作一个关于友情的温馨短剧"
result = await agent.generate_complete_drama(user_input, include_video=True)
if result["success"]:
print("剧本:", result["content"]["script"])
print("视频片段:", len(result["content"]["videos"]), "个")
else:
print("生成失败:", result["error"])
2. 多轮对话优化
class InteractiveDramaAgent(DramaGeneratorAgent):
def __init__(self, *args, **kwargs):
super().__init__(*args, **kwargs)
self.current_script = None
self.revision_history = []
def revise_script(self, feedback: str, section: str = "all"):
"""根据用户反馈修改剧本"""
revision_prompt = f"""
用户对当前剧本的反馈：{feedback}
需要修改的部分：{section}
请根据反馈对剧本进行相应修改，保持整体一致性。
"""
result = self.agent.invoke({"input": revision_prompt})
self.revision_history.append({
"feedback": feedback,
"section": section,
"result": result["output"]
})
return result["output"]
3. 视频质量评估与优化
class VideoQualityAssessment:
def __init__(self, llm: ChatOpenAI):
self.llm = llm
def assess_video_prompt(self, prompt: str, scene_context: str) -> Dict:
"""评估视频生成提示词质量"""
assessment_prompt = f"""
评估以下视频生成提示词的质量：
提示词: {prompt}
场景上下文: {scene_context}
评估维度：
1. 视觉描述清晰度 (1-10分)
2. 技术可实现性 (1-10分)
3. 与剧本一致性 (1-10分)
4. 创意表现力 (1-10分)
请给出改进建议和优化后的提示词。
"""
response = self.llm.invoke(assessment_prompt)
return self._parse_video_assessment(response.content)
def optimize_video_prompt(self, original_prompt: str, feedback: str) -> str:
"""根据反馈优化视频提示词"""
optimization_prompt = f"""
原始提示词: {original_prompt}
反馈意见: {feedback}
请根据反馈优化提示词，使其更适合AI视频生成。
要求：
1. 保持核心场景不变
2. 增强视觉描述
3. 提高技术可实现性
4. 控制在100词以内
"""
response = self.llm.invoke(optimization_prompt)
return response.content.strip()
4. 内容质量评估
class QualityAssessment:
def __init__(self, llm: ChatOpenAI):
self.llm = llm
def assess_script(self, script: str) -> Dict[str, Any]:
"""评估剧本质量"""
assessment_prompt = f"""
请对以下短剧剧本进行质量评估：
{script}
评估维度：
1. 剧情逻辑性 (1-10分)
2. 角色塑造 (1-10分)
3. 对话自然度 (1-10分)
4. 戏剧张力 (1-10分)
5. 整体完整性 (1-10分)
请给出具体分数和改进建议。
"""
response = self.llm.invoke(assessment_prompt)
return self._parse_assessment(response.content)
部署与优化
Docker部署
# Dockerfile
FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY src/ ./src/
COPY data/ ./data/
# 设置环境变量
ENV OPENAI_API_KEY=""
ENV VIDU_API_KEY=""
EXPOSE 8501
CMD ["streamlit", "run", "src/main.py", "--server.port=8501", "--server.address=0.0.0.0"]
性能优化策略
-
缓存机制
- 使用Redis缓存常用模板
- 实现结果缓存减少重复计算
-
异步处理
- 使用异步生成提升响应速度
- 实现后台任务队列
- 视频生成并发控制
-
模型优化
- 使用更高效的模型版本
- 实现模型结果缓存
- 视频生成提示词优化
-
API管理
- Vidu API调用频率控制
- 错误重试机制
- 成本监控和优化
总结与展望
本文详细介绍了使用LangChain开发AI短剧生成Agent的完整实现过程。该系统具有以下特点：
技术优势
- 模块化设计：易于扩展和维护
- 智能化程度高：能够生成高质量的创意内容
- 用户体验友好：支持交互式创作和实时反馈
- 可扩展性强：支持多种内容类型和风格
应用前景
- 内容创作辅助：帮助编剧和创作者提升效率
- 教育培训：用于编剧技能培训和学习
- 娱乐应用：为用户提供个性化内容创作体验
- 商业化应用：支持批量内容生产需求
未来发展方向
- 多模态扩展：集成图像、音频生成能力
- 实时协作：支持多人协同创作
- 智能推荐：基于用户偏好的个性化推荐
- 版权保护：加强原创性检测和版权管理
通过本项目的实践，开发者可以深入理解LangChain框架的强大功能，并掌握构建复杂AI应用的核心技术。随着AI技术的不断发展，相信会有更多创新的应用场景等待我们去探索和实现。
扫一扫
3080
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
