手把手教学！新一代 Kaldi: TTS Runtime ASR 实时本地语音识别 语音合成来啦

最新推荐文章于 2025-04-16 20:03:10 发布
最新推荐文章于 2025-04-16 20:03:10 发布
阅读量1.1k 收藏
点赞数
分类专栏： 网站开发 人工智能 AI技术产品经理 文章标签： 语音识别 人工智能
我是南七小僧，邮箱：xkk9866@yeah.net ，C9博士，前百度搜索AI平台产品负责人，欢迎交流思想碰撞。
本文链接：https://blog.youkuaiyun.com/qq_25439417/article/details/139729518
版权

简介

本文向大家介绍如何在新一代 Kaldi的部署框架 **sherpa-onnx**中使用 TTS。

注：sherpa-onnx 提供的是一个TTS runtime, 即部署环境。它并不支持模型训练。 本文使用的测试模型，都是来源于网上开源的 VITS 预训练模型。
我们提供了 ONNX 导出的支持。如果你也有 VITS 预训练模型，欢迎尝试使用 sherpa-onnx 进行部署。

安装

最快速的安装方式是：

了解本专栏 订阅专栏 解锁全文
Next-gen Kaldi - 概览及安装
AI工程化、开源分享、文档翻译、代码笔记
04-24 504
关于 Next-gen Kaldi Next-gen Kaldi 的发展阶段 1、Kaldi+ （2019.10 - 2020.5) 2、Next-gen Kaldi (2020.5 - 2021.10) Next-gen Kaldi 的组成 安装 1、安装 lhotse 2、安装 k2 3、安装 icefall
RV1126笔记三十三：新一代kaldi实时语音识别移植
02-28 982
新一代kaldi实时语音识别移植
小米下一代Kaldi将走向何方？道翰天琼认知智能机器人平台API接口大脑为您揭秘
m0_49525819的博客
08-31 262
小米下一代Kaldi将走向何方？道翰天琼认知智能机器人平台API接口大脑为您揭秘 如果你曾为《十面埋伏》中章子怡“听音辨鼓”的神技所惊艳，那么你也许就会被语音识别工具Kaldi的神通广大所倾倒。作为当前最流行的开源语音识别开发框架，Kaldi集成了多种语言识别模型，并被工业界、学术界几乎所有语音团队所采用。Daniel Povey博士，作为誉满业界的Kaldi之父，他对下一代Kaldi以及其中所包含技术的发展又有何新的思考呢？在2020北京智源大会的主题报告《可微分的加权有限状态机及其机器学习应用》.
最新开源TTS语音克隆，本地部署实测！跨语言、高保真。。。
u010522887的专栏
03-10 4134
最近，看到一款开源的语音合成（TTS）系统。今日分享，将介绍 `Spark-TTS`，并带大家本地部署体验，为本地 TTS 选型提供参考。
基于sherpa-onnx 安卓语音识别尝鲜
最新发布
ZLGSPACE的博客
04-16 1496
Sherpa是一个由 K2-FSA 团队 开发的 开源语音处理框架，旨在解决传统语音识别工具（如 Kaldi）在模型部署和跨平台适配中的复杂性问题。它通过整合现代深度学习技术和高效推理引擎，提供了从语音识别、合成到说话人识别的一站式解决方案，尤其在实时性、低资源消耗和跨平台兼容性方面表现突出。ONNX（Open Neural Network Exchange）：即开放神经网络交换格式，是一种用于表示深度学习模型的开放标准文件格式。
使用kaldi的sherpa-onnx根据文字语音合成（中文）
lstef的博客
07-02 1445
【代码】使用kaldi的sherpa-onnx根据文字语音合成（中文）
新一代kaldi-icefall环境配置与aishell实践
李思成的博客
08-18 713
代码来源：[[k2-fsa/icefall (github.com)](https://github.com/k2-fsa/icefall)](https://github.com/kaldi-asr/kaldi) 官网文档：https://k2-fsa.github.io/icefall/
2022年新一代kaldi团队技术输出盘点
weixin_48827824的博客
02-10 3120
以下是 k2 团队对2022年输出的技术做的盘点。
基于新一代kaldi项目的语音识别应用实例
weixin_48827824的博客
02-27 1091
本文是由郭理勇在第二届SH语音技术研讨会和第七届Kaldi技术交流会上对新一代kaldi项目在学术及“部署”两个方面报告的内容上的整理。如果有误，欢迎指正。
使用kaldi的sherpa-onnx根据文字语音合成（英文）
lstef的博客
06-25 1028
kaldi sherpa-onnx 文字转语音tts实现
kaldi做语音识别
m0_56321289的博客
03-04 2933
kaldi是一个开源的语音识别工具箱，是基于c++、perl、shell编写的，可以在windows和unix 平台上编译。教程网页：http://www.kaldi-asr.org/doc/ 里面可以查阅语音/说话人识别实现过程、kaldi的数据结构、命令的使用说明等。还有网上的dan的ppt。kaldi下载：https://
语音合成工具（源码）
01-04
利用百度API进行语音合成，生成mp3文件供程序内部调用。附源码
TTS_tools.rar_tts lib_tts库_本地tts_灵云tts下载_语音呼叫
07-14
调用灵云的TTS库,实现文本和语音的转换, 云端调用,免费使用,该程序可以做为本地TTS转换工具使用,简单灵活,也可以在其基础上稍做修改,做成TTS网关程序,用在呼叫中心平台上
SIM900A_tts_本地语音播报
06-01
SIM900A_tts_本地语音播报
LibreASR：本地流语音识别系统
02-04
LibreASR 本地流式语音识别系统 使用和 链接 请访问 进行项目更新 贡献 观星者
kaldi语音识别资料.rar_kaldi_kaldi pdf 0.7_kaldi资料_语音识别
07-13
基于kaldi的语音识别小系统搭建以及kaldi的全部资料
基于Kaldi+GStreamer搭建线上的实时语音识别器
01-06
一、安装python2.7和Tornado 4，ws4py, YAML,JSON等依赖包 1、sudo pip2 install tornado==4.3（4.0版本不行） 2、sudo pip2 install ws4py==0.3.2 3、sudo pip2 install pyyaml 4、sudo pip2 install ...
自然语言处理之语音识别：Kaldi：语音识别系统评估与分析
zhubeibei168的博客
10-21 941
Kaldi是一个开源的语音识别工具包，由华盛顿大学的Daniel Povey等人开发。它使用C++编写，具有高性能和灵活性，广泛应用于学术研究和工业界。Kaldi支持多种声学模型，包括GMM-HMM、DNN-HMM和RNN-HMM，以及多种语言模型，如N-gram和RNN语言模型。其核心组件包括特征提取、模型训练、解码和评估，这些组件通过一系列脚本和工具紧密集成，形成了一个完整的语音识别系统。
kaldi-tts语音合成开发案例.docx
03-21
在rk3588s上的ubuntu2204上部署Kaldi-TTS进行中文语音合成
新一代kaldi：sherpa-onnx树莓派
02-09
### 安装和配置新一代 Kaldi (sherpa-onnx) on 树莓派 #### 准备工作 确保树莓派已更新至最新版本的操作系统并安装必要的依赖项。对于基于 Debian 或 Ubuntu 的发行版，可以使用以下命令来更新软件包列表并升级现有软件包： ```bash sudo apt update && sudo apt upgrade -y ``` #### 安装依赖库 为了使 `sherpa-onnx` 正常运行，在树莓派上还需要额外安装一些Python库和其他工具链。执行如下指令完成这些前置条件的部署[^2]: ```bash sudo apt install python3-pip libasound2-dev portaudio19-dev pip3 install --upgrade pip setuptools wheel ``` #### 获取预编译模型文件 下载适用于 ARM 架构的 ONNX 模型以及相应的解码资源。可以从官方GitHub仓库或者其他可信源获取所需资源，并将其放置于合适的位置以便后续调用。 ```bash mkdir -p ~/kaldi-models && cd ~/kaldi-models wget https://github.com/k2-fsa/sherpa/releases/download/v0.6.0/offline-zip-ctc-aishell.zip unzip offline-zip-ctc-aishell.zip ``` #### 安装 Sherpa-Onnx Python 包 通过 PyPI 来安装最新的 `sherpa-onnx` 版本，这一步骤会自动处理大部分兼容性和路径设置问题。 ```bash pip3 install sherpa-onnx ``` #### 编写测试脚本 创建一个新的 Python 文件用于验证安装是否成功，同时也可以作为未来开发的基础框架。 ```python import wave from pathlib import Path import sherpa_onnx def main(): recognizer = sherpa_onnx.Recognizer( tokens=Path("~/kaldi-models/tokens.txt").expanduser(), encoder=Path("~/kaldi-models/encoder.onnx").expanduser(), decoder=Path("~/kaldi-models/decoder.onnx").expanduser(), joiner=Path("~/kaldi-models/joiner.onnx").expanduser() ) with wave.open("/path/to/test.wav") as f: samples = f.readframes(f.getnframes()) result = recognizer.decode(samples) print(result) if __name__ == "__main__": main() ``` 以上就是关于如何在树莓派设备上安装和初步应用新一代 Kaldi (`sherpa-onnx`) 进行语音识别的过程介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南七小僧

打赏后，可以添加微信一对一咨询

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值