流式LLM到TTS语音合成如何实现？

流式LLM到TTS语音合成实现
最新推荐文章于 2025-12-03 20:31:34 发布
原创 最新推荐文章于 2025-12-03 20:31:34 发布 · 33 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#TTS #人工智能 #深度学习 #算法 #贪心算法 #LLM

部署运行你感兴趣的模型镜像

LLMSpeaker: 流式LLM到TTS语音合成(自定义Sentence分割逻辑)

LLMSpeaker是一个集成大语言模型(LLM)和语音合成(TTS)技术的流式语音生成系统。它能够实时将LLM生成的文本转换为语音输出，实现类似ChatTTS的流式语音对话体验。

本项目完全开源免费，供大家学习参考，需要的小伙伴关注公众号“CrazyNET”后，回复“llmspeaker”自取

运行截图

在这里插入图片描述

🌟 项目特色

  • 流式处理: 实现LLM文本生成与TTS语音合成的无缝流式处理
  • 实时语音输出: 文本生成的同时进行语音播放，降低整体响应延迟
  • 智能句子分割: 自动识别句子边界，实现更自然的语音输出节奏
  • 高性能TTS引擎: 基于CosyVoice的高质量语音合成
  • 灵活配置: 支持多种LLM模型和TTS音色选择

🏗️ 项目架构

LLMSpeaker/
├── main.py                 # 主程序入口
├── model_classes/          # 核心模型类
│   ├── llm_stream.py       # LLM流式处理类
│   └── tts_engine.py       # TTS引擎类
├── models/                 # 模型文件目录
│   ├── LLM/                # 大语言模型
│   └── TTS/                # 语音合成模型
├── cosyvoice/              # CosyVoice TTS系统子模块
├── logs/                   # 日志文件目录
│   └── run.log             # 运行日志
├── configs/                # 配置文件目录
│   └── cfg.ini             # 系统配置文件
├── any_utils/              # 任意工具函数目录
│   └── inireader.py        # 项目配置文件读取工具
├── require_dependence/     # 项目依赖目录Whl包
└── requirements.txt        # 项目依赖

🚀 快速开始

环境要求

  • Python 3.10.12
  • CUDA 12.4 (用于GPU加速)
  • Ubuntu-24.04.3 LTS (Noble Numbat) (推荐Linux)
  • CPU架构 x86_64 (推荐)

安装步骤

  1. 获取源码: LLMSpeaker
cd LLMSpeaker
  1. 创建虚拟环境并激活:
conda create -n llmspeaker python=3.10.12
conda activate llmspeaker
  1. 安装项目依赖:
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install -r req.info

模型准备

LLM模型

将您的大语言模型放置在 models/LLM/ 目录下，支持的模型包括:

  • Qwen系列 (推荐Qwen3-1.7B)
  • Llama系列
  • 其他HuggingFace兼容模型
TTS模型

下载CosyVoice预训练模型:

# 使用ModelScope下载
modelscope download --model iic/CosyVoice-300M --local_dir ./models/TTS/CosyVoice-300M

或者使用git下载:

git clone https://www.modelscope.cn/iic/CosyVoice-300M.git models/TTS/CosyVoice-300M

运行示例

python main.py

在程序运行后，您可以输入问题与AI进行交互，输入"exit"退出程序。

🧠 核心组件

LLM流式处理 (StreamingLLMWithTTS)

核心(TextIteratorStreamer)
def generate_stream(self, prompt):
    """流式生成文本"""
    messages = [{"role": "user", "content": prompt}]
    text = self.tokenizer.apply_chat_template(
        messages,
        tokenize=False,
        enable_thinking=self.enable_thinking,
        add_generation_prompt=True
    )
    print(f"device: {self.model.device}")
    inputs = self.tokenizer([text], return_tensors="pt").to(self.model.device)
    
    streamer = TextIteratorStreamer(
        self.tokenizer,
        skip_prompt=self.skip_prompt,
        skip_special_tokens=self.skip_special_tokens
    )
    print(f"input ids: {inputs['input_ids']}")
    generation_kwargs = dict(
        inputs,
        streamer=streamer,
        max_new_tokens=self.max_length,
        do_sample=self.do_sample,
        temperature=self.temperature,
        top_p=self.top_p,
        top_k=self.top_k
    )
    
    thread = Thread(target=self.model.generate, kwargs=generation_kwargs)
    thread.start()
    
    return streamer

该类负责:

  • 加载和运行大语言模型
  • 流式生成文本内容
  • 智能句子分割以优化TTS输出

主要方法:

  • generate_stream(): 流式生成文本
  • sentence_splitter(): 智能句子分割
  • llm_to_tts_pipeline(): LLM到TTS的完整管道

TTS引擎 (CosyVoiceEngine)

核心(synthesize)
def synthesize(self, text):
    self.output_stream.start()
    print(f"text: {text}")
    """生成并播放语音"""
    for audio_chunk in self.model.inference_sft(text, self.speaker, speed=self.speed):
        audio_tensor_2_numpy = audio_chunk["tts_speech"].numpy()
        audio_tensor_2_numpy = np.squeeze(audio_tensor_2_numpy)
        audio_data = self.resample_audio(audio_tensor_2_numpy, self.tts_sample_rate, self.output_dev_sample_rate)
        # 播放音频
        self.output_stream.write(audio_data)
    self.output_stream.stop()

该类基于CosyVoice实现:

  • 高质量语音合成
  • 音频重采样处理
  • 实时音频播放

主要方法:

  • synthesize(): 文本到语音合成
  • resample_audio(): 音频重采样

⚙️ 配置说明

项目配置

; LLM模型配置
[LLM]
; LLM模型路径
llm_model_path="./models/LLM/Qwen3-1.7B/"
; 部署后端
llm_backend="cuda"
; 数据类型 ["float16", "float32"]
llm_dtype="float16"
; 是否跳过提示词
skip_prompt=True
; 是否跳过特殊token
skip_special_tokens=True
; 是否开启思考模式
enable_thinking=False
; 最大生成长度
max_length=1024
; 是否采样, 当 do_sample=False时, 模型采用确定性解码策略, 会使用argmax。当 do_sample=True时，模型会启用随机采样策略。temperature、top_p、top_k这些参数仅在 do_sample=True时生效
do_sample=True
; 温度参数, 用于控制生成文本的随机性, 较高的温度会增加随机性(模型输出随机性更强、更具创造性), 较低的温度会减少随机性(模型输出更加确定和保守)
temperature=0.7
; 根据当前上下文概率分布的实际情况动态调整候选集大小
top_p=0.8
; 值越大，候选 token 越多，生成多样性越强，但引入低质量 token 的风险也增加。值越小，生成内容越保守、确定性越强。如果 k=1，则退化为贪婪搜索。
top_k=50

; TTS模型配置
[TTS]
; TTS模型路径
tts_model_path="./models/TTS/CosyVoice-300M/"
; 说话人, 可选: ["中文女", "中文男", "日语男", "粤语女", "英文女", "英文男", "韩语女"]
speaker="中文女"
; 数据类型 ["float16", "float32"]
tts_dtype="float16"
; 语速
speed=1.2
; 模型采样率
tts_sample_rate=22050

; 设备参数
[AUDIO]
; 输出采样率
output_sample_rate=48000
; 音频设备ID
output_dev_id=9
; 输出通道数
output_channels=1

音频设置

# 配置音频输出设备
import sounddevice as sd

# 查看可用设备
print(sd.query_devices())

# 选择合适的输出设备
output_stream = sd.OutputStream(samplerate=48000, device=设备ID, channels=1, dtype=np.float32)

模型参数

# LLM参数配置
llm = StreamingLLMWithTTS(
    model_path="your-llm-path",
    streamer=streamer,
    max_new_tokens=max_length,
    do_sample=True,
    temperature=0.7,
    top_p=0.8,
    top_k=50
)

# TTS参数配置
tts = CosyVoiceEngine(
    output_stream,
    model_path="your-tts-path",
    speaker="中文女"  # 可选音色
)

🛠️ 高级用法

自定义句子分割逻辑

# 在llm_stream.py中修改sentence_splitter方法
def sentence_splitter(self, text_stream):
    """自定义句子分割逻辑"""
    buffer = ""
    # 可以根据需要修改正则表达式
    sentence_end_pattern = re.compile(r'[。！？\.!?;；\n]')
    # ... 其他逻辑

多语言支持

CosyVoice支持多种语言:

  • 中文
  • 英文
  • 日文
  • 韩文
  • 粤语

音色选择

# 在tts_engine.py中修改speaker参数
self.speaker = "中文女"  # 可选: 中文女, 中文男, 英文女, 英文男等

📈 性能优化

  1. GPU加速: 确保CUDA环境正确配置以获得最佳性能
  2. 批处理优化: 合理设置生成长度避免内存溢出
  3. 音频缓冲: 调整音频缓冲区大小平衡延迟和流畅性

🤝 与CosyVoice的关系

本项目基于阿里巴巴开源的CosyVoice项目进行二次开发，增加了与大语言模型的流式集成能力。CosyVoice提供了以下特性:

  • 多语言支持(中文、英文、日文、韩文、粤语及方言)
  • 零样本语音克隆
  • 情感控制和细粒度语音调节
  • 低延迟流式推理

CosyVoice子模块包含以下重要组件：

  • CLI接口 (cosyvoice/cli/)
  • 数据集处理 (cosyvoice/dataset/)
  • 模型实现 (cosyvoice/flow/, cosyvoice/hifigan/, cosyvoice/llm/)
  • 文本前端处理 (cosyvoice/tokenizer/)
  • 工具函数 (cosyvoice/utils/)
  • Web界面 (webui.py)
  • 部署相关 (runtime/, docker/)

📄 许可证

本项目基于MIT许可证发布，详见LICENSE文件。

CosyVoice基于Apache 2.0许可证，详见CosyVoice/LICENSE文件。

🙏 致谢

📞 联系方式

如有问题或建议，请通过以下方式联系:

源码免费获取

您可能感兴趣的与本文相关的镜像

Qwen3-8B

Qwen3-8B

文本生成
Qwen3

Qwen3 是 Qwen 系列中的最新一代大型语言模型，提供了一整套密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面取得了突破性进展

CosyVoice TTS实时语音合成、语音克隆、流式语音合成api接口，requests请求使用案例
weixin_42357472的博客
07-18 8089
参考：主要改动app.py 、cosyvoice.py两个文件，这里用的CosyVoice docker环境测试。
基于LLM+TTS+Lip-Sync的流式数字人的问答系统框架
m0_71062934的博客
06-03 4118
本文概述了一个结合最新技术的流式数字人问答系统框架，该系统融合LLM模型以处理复杂问题并生成回答，TTS技术将文本转为自然语音，以及Lip-Sync技术同步唇形动画以实现类似真人的互动体验。关键组件包括：1) LLM模型如Mistral 7B、ChatGLM-6B等，擅长处理多样文本任务；2) TTS模型如PaddleSpeech、Parler-TTS，致力于生成流畅语音；3) Lip-Sync模型如Wav2Lip、MuseTalk，专注于唇部及面部表情的逼真同步。
本地端到端语音(ASR-LLM-TTS)
m0_52919859的博客
06-04 2842
你有没有想象过在本地快速搭建一个完整的语音对话系统？只需一台普通电脑，无需联网，甚至低算力设备也能流畅运行。这篇博客将手把手带你实现一个端到端的语音交互系统，从语音输入到语音回复，全链路完整展示。ASR-LLM-TTS Onnx 项目实现一个在本地运行的端到端语音对话系统，能够完成“语音 -> 文本 -> 对话回复 -> 语音”的全过程。项目地址：https://github.com/muggle-stack/asr-llm-tts。
语音合成之四大语言模型（LLM）与TTS的深度融合
shichaog的专栏
04-23 1648
基于LLM的方法摆脱了音素建模，采用了LLM+Decoder架构，在大大简化了TTS的复杂度的同时，提高了合成的可控性，LLM作为这些TTS系统的核心组件或基础架构被反复提及，标志着TTS领域从传统的声学建模方法向利用LLM的语义理解和生成能力的重大转变。这种范式转变直接促成了零样本语音克隆和多语种支持等功能的进步。基于 LLM 的 TTS 技术正在迅速发展，LlaSA、CosyVoice 和 SparkTTS 等模型代表了该领域的重大进步。
语音合成之一TTS技术发展史综述
shichaog的专栏
04-17 2066
文本转语音（Text-to-Speech，TTS）技术是一种将书面文本自动转换为人类语音的技术。它是一门交叉学科，融合了语言学、声学、计算机科学和电子工程等多个领域的知识。TTS技术通过计算机合成逼真的语音，使得用户能够通过听觉获取信息，极大地扩展了人机交互的方式。从早期的机械发声装置到如今高度智能化的语音合成系统，TTS技术已经渗透到我们日常生活的方方面面，例如智能语音助手（亚马逊Alexa、豆包、苹果Siri等）、屏幕阅读器（为视力障碍人士和阅读障碍者）、教育软件、媒体与娱乐（播客、有声读物、视频/游戏
从LLM到TTS，阿里云-流式文本语音合成实践
overwhelmed的博客
11-18 473
TTS，Text-to-Speech，文本转语音，将一段文本转换成对应的语音，在人机对话、智能助手等多种场景下应用。流式文本语义合成重点在于。
语音合成之六端到端TTS模型的演进
shichaog的专栏
04-25 1327
近年来，基于大型语言模型的TTS模型，如2025年提出的SparkTTS ，以及侧重于可扩展性和多语种能力的Cosyvoice（2024年） ，相继涌现。注意力机制是Tacotron模型的一项关键创新，它使得解码器在生成每个音频帧时，能够自动地聚焦于输入文本序列的相关部分，从而学习文本特征与相应音频帧之间的对齐关系。首先，训练一个教师模型，然后从教师模型的注意力对齐中提取音素的持续时间，并使用教师模型生成的梅尔频谱图作为目标来训练FastSpeech模型及其时长预测器。
语音合成之十二 TTS声学编解码器的演进
shichaog的专栏
05-08 1412
从HiFi-GAN在波形合成效率与保真度上取得的突破，到XCodec2.0和BiCodec在语义丰富性与可控性方面的探索，TTS声学编解码技术在过去数年中取得了令人瞩目的进展。GAN的基石地位: 生成对抗网络（GAN）仍然是训练高保真声码器和编解码器的核心技术之一，尽管通常会辅以感知损失和特征匹配损失来进一步提升效果。
Funasr+LLM+TTS+Android 实现实时对话
qq_36699648的博客
08-08 1223
使用大模型：Funasr（CPU）、CoysVoice2、DeepSeek。实现思路：使用Funasr实现用户语音识别，将识别的语音转换成文本后，发送给DeepSeek API 接口,deepseek 提示词设置50字以内的文本信息，使用Cosyvoice2 将返回的文本克隆成语音，Android 再播放合成的语音。ps：在安卓上 Funasr 语音识别和TTS合成语音出现一种回声问题，这里使用MediaPlayer 方法解决。
vLLM如何实现低延迟语音合成前端处理？
weixin_34413326的博客
11-25 221
本文介绍如何利用vLLM结合PagedAttention与连续批处理技术，显著提升语音合成前端处理的推理效率。通过动态显存管理、前缀缓存复用和异步调度，实现高并发、低延迟的文本归一化、音素转换与韵律预测，大幅优化GPU利用率与响应速度。
精选资源
freeswitch模块对接使用阿里语音合成
08-24
本文将深入探讨如何利用Freeswitch的模块化特性，结合阿里巴巴的语音合成技术（TTS，Text-to-Speech），实现高效、高质量的语音交互功能。 **Freeswitch基础** Freeswitch是一个开源的、跨平台的通信服务器，它...
【TTS回顾】CosyVoice 深度解析：基于LLM的TTS模型
kakaZhui的博客
05-22 1438
本篇博客我们回顾一下CosyVoice，文本转语音（TTS）技术正经历一场由大型语言模型（LLM）引领的深刻变革。我们不再满足于仅仅“听得清”，更追求合成语音能够像真人一样自然流畅、富有表现力，并且能够轻松实现零样本 (Zero-Shot)语音克隆，即用极少（甚至一段）目标说话人的音频就能合成其声音。传统的 TTS 模型，无论是基于参数合成还是拼接合成，在自然度和表现力上都存在瓶颈。
TensorRT笔记（5）：研究timingCache
ouliten的博客
12-02 820
在里出现了大量的timingCache，但是当时没有取研究这是干啥的，本文就来解析一下。样例都基于上面的文章。
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1528
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
大模型应用：大模型 MapReduce 全解析：核心概念、中文语料示例实现.12
minhuan的专栏
12-03 873
本文介绍了MapReduce编程模型及其在大模型训练中的应用。MapReduce通过"分治-并行-聚合"思想处理大规模数据，传统Hadoop MapReduce侧重结构化数据计算，而大模型MapReduce则针对自然语言处理任务。文章详细对比了两者在架构、处理对象和核心算力等方面的差异，并提供了中文词频统计的Python实现示例，包括单机版和分布式版本。分布式实现利用多进程模拟集群计算，展示了数据分片、Map、Shuffle和Reduce的完整流程。
07_Spring AI 干货笔记之提示词
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 1744
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
【LLM】DeepSeekMath-V2模型
发现问题，并解决问题，批判性思维
11-29 1536
研究问题：这篇文章要解决的问题是如何在大型语言模型（LLMs）中进行自我验证的数学推理。具体来说，现有的基于最终答案奖励的强化学习方法在数学推理中存在根本局限性，因为正确答案并不能保证推理的正确性，特别是在定理证明任务中。 研究难点：该问题的研究难点包括：如何在不依赖最终答案的情况下验证推理的正确性；如何在生成和验证之间建立有效的迭代改进循环；如何在没有已知解决方案的开放问题上扩展测试时计算。 相关工作：该问题的研究相关工作有：OpenAI的推理模型在定量推理竞赛中取得了显著进展；DeepMind的Deep
【AI是否能替代IT从业者？】
最新发布
博文致力于人工智能算法的探索研究；前后端分离项目的技术分享交流；专升本计算机基础课程内容讲解；各种中间件技术分享
12-03 588
2025年IT行业面临AI深度重构：基础开发、测试、运维岗位替代率超60%，但AI相关新兴岗位激增380%。人类在复杂系统设计、伦理决策和跨界融合领域仍具不可替代性。微软等企业实践显示，人机协作可使效率提升40%。从业者需转型高价值领域（如Agent开发、大模型工程），掌握"技术+领域"双轨能力。AI本质是职业生态重构器，持续学习者的薪资溢价可达150%。建议立即评估岗位AI暴露指数，优先学习分布式架构优化、多智能体开发等技能。
AI驱动的网联自动驾驶汽车网络安全测试方法
NewCarRen的博客
12-03 806
本文综述了网联自动驾驶汽车(CAV)网络安全测试面临的挑战与解决方案。随着CAV普及，网络攻击风险加剧，现有渗透测试方法面临测试环境成本高、专业人才匮乏等挑战。研究表明，人工智能(AI)在传统行业渗透测试中展现出缩短时间、提高效率的优势，但在CAV领域应用仍存在明显缺口。文章重点分析了强化学习等AI算法在渗透测试中的应用潜力，指出创建仿真环境是测试AI模型有效性的可行方案。开源工具VEINS被推荐为合适的仿真平台，其Python/C++接口便于AI模型集成。研究认为，若证实AI方法有效，可扩展应用于完整CA
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值