在线流式TTS

原创已于 2025-03-01 21:18:06 修改 · 298 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别

于 2025-03-01 18:25:18 首次发布

部署运行你感兴趣的模型镜像

公司	支持	结论
Ali		不能试用
Baidu		不能试用
腾讯
讯飞		基础发音人音质差特色发音人数码音也比较重
火山		接口不规范接口没有调通

您可能感兴趣的与本文相关的镜像

HunyuanVideo-Foley

语音合成

HunyuanVideo-Foley是由腾讯混元2025年8月28日宣布开源端到端视频音效生成模型，用户只需输入视频和文字，就能为视频匹配电影级音效

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iffy1

关注关注

3
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

VueJS ReactJS实现AI问答小助手(2)——流式TTS文字转实时语音播放

南七小僧的学海无涯

05-22

1420

文档只给出了一些配置项的说明，以及java端的代码示例，但没有web端的。所以这篇笔记可以给web开发者参考。首先，AI答复的消息是通过SSE()返回的。SSE请求的实现流程后续有时间再填坑。代码实现中，使用了一个onReply回调来执行后续动作。这个方法会连续多次执行，直到消息结束。SSE是单向的，只能由服务端向客户端推送，而流式TTS这种双向通信需要通过socket来实现。socket的实现，原本是打算用封装了心跳、房间等概念的socket.io。

Unity C# 之 Azure 微软SSML语音合成TTS流式获取音频数据以及表情嘴型 Animation 的简单整理

仙魁XAN

08-16

3681

Unity 工具类，自己整理的一些游戏开发可能用到的模块，单独独立使用，方便游戏开发。本节介绍，这里在使用微软的Azure 使用SSML进行SS语音合成的音频，并且获取表情嘴型Animation 数据，并且保存到本地，在特定的情况下，用于本地读取音频和表情嘴型Animation 数据，直接使用，避免可能网络访问造成的延迟问题，这里简单说明，如果你有更好的方法，欢迎留言交流。语音合成标记语言 (SSML) 是一种基于 XML 的标记语言，可用于微调文本转语音输出属性，例如音调、发音、语速、音量等。

参与评论您还未登录，请先登录后发表或查看评论

前端流式播放TTS语音：技术细节与实现

weixin_62428445的博客

05-21

7563

本文将介绍如何在前端实现流式播放文本到语音（TTS）的语音，并加入确保语音播放不重叠的改进方案。我们将探讨使用Web Audio API和WebSocket进行实时语音播放的技术细节，并提供相应的代码示例。通过引入播放状态和音频播放队列，我们能够确保前端流式播放TTS语音时，音频播放不会重叠，从而提供更加流畅和自然的用户体验。

强大灵活的语音合成新星：基于流的TTS——RADTTS深度解析与推荐

gitblog_01135的博客

08-18

431

强大灵活的语音合成新星：基于流的TTS——RADTTS深度解析与推荐随着人工智能技术的飞速发展，高质量的文本转语音（Text-to-Speech, TTS）系统变得愈发重要。今天，我们聚焦于一个前沿的开源项目——基于流的TTS与鲁棒对齐学习、多样合成及低维度（基频和能量）言语属性细粒度控制（简称RADTTS）。这个项目由NVIDIA团队研发，并在多个学术会议上展示了其卓越性能。项目简介 RAD...

流式语音交互（STT+TTS）

最新发布

artificiali的博客

09-18

331

目标：实现完整的语音交互功能，包含录音、语音识别（STT）、AI对话回复、语音合成（TTS）和音频播放的全流程。功能：录音 → 语音识别 → AI对话 → 语音合成 → 播放，全部在内存中完成，不写入磁盘。，适合实时交互场景。

PaddleSpeech 流式语音合成系统 PP-TTS

小湉湉的博客

10-25

4094

流式语音合成系统

开源的流式文本转语音（TTS）模型（英法）速览：tts-1.6b-en_fr

直达开源前线，冲冲冲！

07-07

1004

Kyutai TTS是一款流式文本转语音模型，采用分层Transformer架构，支持英语和法语。该模型具有10亿参数，可实现实时音频生成，音频相对文本偏移1.28秒。特点是支持预计算语音嵌入、批处理高效（吞吐量达75倍）且无数字水印。训练数据包含250万小时公开音频，使用32个H100 GPU预训练后进行CFG蒸馏优化。模型在CC-BY 4.0许可下开源，适用于对话场景等实时语音合成需求。

清华大学LightGrad-TTS，且流式实现

weixin_48827824的博客

09-13

448

针对BZNSYP和LJSpeech提供训练脚本。

火山引擎ASR语音识别与HomeAssistant智能家居系统深度集成项目_实现语音转文本服务_支持流式语音识别_提供VAD语音活动检测_可配置认证参数_自定义服务地址_多语言支.zip

08-19

火山引擎ASR语音识别技术与HomeAssistant智能家居系统的深度集成项目，代表了智能家居系统在交互方式上的重要进步，它实现了将人类的语音指令转换为文本信息，并通过流式语音识别技术，实时处理和响应用户的语音命令...

易于使用的语音工具包，包括自监督学习模型、带标点符号的SOTA/流式ASR、带文本前端的流式TTS、说话人验证系统、端到端语音

06-30

易于使用的语音工具包，包括自监督学习模型、带标点符号的SOTA/流式ASR、带文本前端的流式TTS、说话人验证系统、端到端语音翻译和关键词识别。荣获NAACL2022最佳演示奖。

精选资源

node-tts-player:流式 Watson 文本转语音播放器

06-07

流式传输 Watson Text to Speech 播放器 Node.js 脚本，通过计算机的扬声器播放合成的语音音频。当前需要 Linux 或 OS X。将来可能会支持 Windows。设置在创建一个 watson Text to Speech 实例并将其绑定到...

FreeSWITCH 对接阿里云流式 TTS：让大模型通话秒级响应

shanghaimoon的专栏

08-14

1441

延迟大幅下降：从几秒降到亚秒级体验提升：对话更加自然连贯，几乎无静默可扩展性强：可替换阿里云 TTS 为其他支持流式合成的引擎适用场景电话机器人智能客服大模型语音助手实时语音翻译。

深度学习系列76：流式tts的一个简单实现

kittyzc的博客

01-23

898

使用queue，producer不断向queue中添加audio，然后consumer不断从queue中消费audio。下面的样例使用melo来生成语音，需要先下载melo.tts。

Unity 工具之 Azure 微软SSML语音合成TTS流式获取音频数据的简单整理

仙魁XAN

08-15

3386

Unity 工具类，自己整理的一些游戏开发可能用到的模块，单独独立使用，方便游戏开发。本节介绍，这里在使用微软的Azure 进行语音合成的两个方法的做简单整理，这里简单说明，如果你有更好的方法，欢迎留言交流。语音合成标记语言 (SSML) 是一种基于 XML 的标记语言，可用于微调文本转语音输出属性，例如音调、发音、语速、音量等。与纯文本输入相比，你拥有更大的控制权和灵活性。定义输入文本结构，用于确定文本转语音输出的结构、内容和其他特征。例如，可以使用 SSML 来定义段落、句子、中断/暂停或静音。

edge_tts 实现实时流式语音播放输出

weixin_42357472的博客

12-17

1667

【代码】edge_tts 实现实时流式语音播放输出。

一、腾讯云:2.语音合成-2：流式文本语音合成(TTS-文字转语音)

wzg248250191的博客

05-28

1328

本接口服务采用 websocket 协议，将请求文本合成为音频，同步返回合成音频数据及相关文本信息，达到“边合成边播放”的效果。区别于实时语音合成，本接口支持流式文本输入，适用于大语言模型的逐字输入场景，极大地提升了交互体验。在使用该接口前，需要，并进入新建密钥，生成 AppID、SecretID 和 SecretKey，用于 API 调用时生成签名，签名将用来进行接口鉴权。

PaddleSpeech TTS API与流式速度对比（windows Java版）

精益求精

09-10

1929

PaddleSpeech语音识别系统，API模式和流式模式的相应时间的对比，希望对大家有所帮助！

edge-tts 流式

07-23

### 流式语音合成的实现方法在使用 `edge-tts` 实现流式语音合成时，核心在于利用其异步支持特性，通过逐块（chunk）接收音频数据，实现边生成边传输的流式处理机制。这种方式特别适用于需要低延迟和实时播放的应用场景，例如在线语音助手、实时翻译播报等[^1]。 `edge-tts` 提供了 `stream()` 方法，用于以流式方式获取合成语音的音频数据。该方法返回一个异步生成器，每次迭代会返回一个包含音频数据的字典对象，其中 `type` 字段标识数据类型（如 `audio`），`data` 字段则包含原始的音频字节流。通过这种方式，可以在不等待整个音频文件生成的前提下，逐步将音频数据发送到客户端或写入播放缓冲区，从而实现流式播放或传输。以下是一个使用 `edge-tts` 实现流式语音合成的 Python 示例代码： ```python import asyncio import edge_tts async def stream_tts(text: str, voice: str): communicate = edge_tts.Communicate(text, voice) async for chunk in communicate.stream(): if chunk["type"] == "audio": # 模拟流式传输或播放 print(f"Received audio chunk of size {len(chunk['data'])} bytes") # 可以将 chunk['data'] 发送至 WebSocket 客户端或写入音频播放器 if __name__ == "__main__": TEXT = "流式语音合成正在运行" VOICE = "zh-CN-Xiaoyan" asyncio.run(stream_tts(TEXT, VOICE)) ``` 上述代码展示了如何通过 `stream()` 方法逐块获取音频数据，并模拟了流式传输过程。在实际应用中，可以将 `chunk["data"]` 直接发送至前端客户端（如通过 WebSocket），或写入本地音频播放缓冲区以实现边接收边播放的效果[^1]。此外，`edge-tts` 基于 `asyncio` 的异步架构使其非常适合用于构建高并发的语音合成服务。例如，在 Web 服务器中，可以为每个客户端请求启动一个异步任务，独立处理其语音合成流，而不会阻塞主线程，从而实现高效的资源利用和响应速度[^1]。流式语音合成还可以结合语音合成标记语言（SSML）进行更精细的语音控制，如调整语速、音高、停顿等。`edge-tts` 同样支持 SSML 输入，只需将文本参数替换为符合 SSML 规范的字符串即可实现更丰富的语音效果[^1]。