小米开源语音模型 Kaldi-ONNX 转换工具，助力移动端部署！

最新推荐文章于 2025-06-29 09:08:21 发布
原创 最新推荐文章于 2025-06-29 09:08:21 发布 · 6.5k 阅读 · 33 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

近日，小米开源Kaldi模型到ONNX模型的转换工具Kaldi-ONNX，促进Kaldi与深度学习生态互通。配合MACE框架，可降低语音模型离线部署门槛、提升推理效率。该工具用Python编写，有轻量化、易用等特点，还给出了项目地址。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

640?wx_fmt=gif

640?wx_fmt=jpeg

作者 | 小米开源团队

责编 | 胡巍巍

近日，小米对外开源了Kaldi模型到ONNX模型的转换工具Kaldi-ONNX，有望进一步促进Kaldi生态与深度学习生态间的互通。 

同时，配合移动端深度学习框架MACE，将极大降低语音模型在手机与智能设备上的离线部署门槛，并大幅提升推理效率。


640?wx_fmt=png

介绍


Kaldi是目前使用广泛的开发语音识别应用的框架，利用Kaldi，研究开发人员可以训练出语音识别神经网路模型，不过将训练得到的模型部署到移动端设备上往往需要大量的移植开发工作。

Kaldi-ONNX是一个开源的轻量化Python脚本工具，可以用来将Kaldi的神经网络模型文件转换为ONNX格式模型。 

而ONNX是一种开放神经网络交换格式（Open Nerual Network Exchange），它为神经网络模型提供了一种开源的格式， 目前已经有多个神经网络框架或工具支持ONNX格式模型，如Caffe2,PyTorch，Tensorflow，MACE, CoreML等。


640?wx_fmt=png

意义和优势


使用Kaldi-ONNX将Kaldi的神经网络模型转换成ONNX开源格式，一方面可以使用兼容ONNX的各种工具，如进行可视化检查或模型优化。 

另外转换得到的模型可以借助MACE或其他神经网络框架部署到Android，iOS，Linux/Windows或其他设备上， 为开发者部署语音识别神经网络模型提供了更多框架或工具的选择。

Kaldi-ONNX在设计中考虑了工具的轻量化、易用、灵活、高效等特点，主要从如下几个方面进行设计：

  • 使用Python脚本编写，跨平台，方便在Linux/Window/Mac系统下使用；

  • 体积小，除ONNX框架接口外无第三方依赖，易安装；

  • 广泛支持Kaldi的Nnet2和NNet3模型及常用的神经网络组件；

  • 可扩展及模块化设计，方便更新或添加新的组件；

  • 模型融合及优化，将Kaldi框架对神经网络的编译优化过程进行了简化， 并针对LSTM/TDNN等进行了融合，转换成有向无环网络模型，使模型的部署和推理计算更高效。

此外，MACE（移动端AI计算引擎）框架已支持ONNX格式模型文件和Kaldi模型中常用的算子， 因此推荐使用MACE来部署Kaldi的语音识别神经网络模型。同时MACE的Model Zoo项目里已经收录了数个转换好的Kaldi语音识别DNN模型。


640?wx_fmt=png

性能指标


下表是在小米MIX 2S(骁龙845)上的测试数据(单位: 毫秒)：

Kaldi nnet3 模型

Nnet3 模型(chunk size=20)

arm64-v8a

armeabi-v7a

CVTE

99.1

88.694

SRE16

64.553

48.593

ASpIRE

8.165

8.499

Callhome

23.851

13.813

VoxCeleb Models

76.182

55.172

SITW Model

61.096

52.418

Kaldi nnet2 模型

Nnet2 模型(chunk size = 20)

arm64-v8a

armeabi-v7a

Fisher English

80.503

78.712

Librispeech

80.116

86.224

RM

23.197

25.228　

Tedlium

102.535

116.807

Timit

6.488

6.179


640?wx_fmt=png

项目地址


  • Kaldi-ONNX项目地址：

https://github.com/XiaoMi/kaldi-onnx

  • MACE项目地址：

https://github.com/XiaoMi/mace

  • 示例模型地址：

https://github.com/XiaoMi/mace-models/tree/master/kaldi-models

【END】

640?wx_fmt=png

作为码一代，想教码二代却无从下手：

听说少儿编程很火，可它有哪些好处呢？

孩子多大开始学习比较好呢？又该如何学习呢？

最新的编程教育政策又有哪些呢？

下面给大家介绍优快云新成员：极客宝宝（ID：geek_baby）

戳他了解更多↓↓↓

640?wx_fmt=jpeg

 热 文 推 荐 

开源需自立！Android、GitHub、Apache 全线告急！

☞任正非回应美国禁令推迟90天实施；小米无惧安卓系统禁用；苹果5G芯片有望2025年面世 | 极客头条

程序员过关斩将：小小的分页引发的加班血案

☞揭秘清华 AI 学堂班：姚期智担任首席教授，2019 年首批招收 30 人

程序员 520 脱单指南！

《使女的故事》大火，AI是背后最大推手？

☞十面九问的逆天异步神器-celery，你了解多少？

黑客亲述: "倾家荡产，是你们的事! "

Docker 系列学习文章 | 什么是容器云？

☞大神！这段代码让程序员躺赚200W，源码简单，你怎么看？

640?wx_fmt=gif点击阅读原文，输入关键词，即可搜索您想要的 优快云 文章。

640?wx_fmt=png 你点的每个“在看”，我都认真当成了喜欢
【kaldi】chain-model的TCP server部署
u011590738的博客
06-27 591
用kaldi提供的脚本部署chain-model的TCP server。
onnx 测试_Kaldi-ONNX
weixin_39628384的博客
12-19 598
Kaldi-ONNXKaldi-ONNX 是一个将Kaldi的模型文件转换为ONNX模型的工具。转换得到的ONNX模型可以借助MACE框架部署到Android, iOS, Linux或者Windows设备端进行推理运算。此工具支持Kaldi的Nnet2和Nnet3模型，大部分Nnet2和Nnet3组件都已支持，目前已支持的组件清单可以在文件converter/commmon.py中查看。此外，针对...
Python-KaldiONNX是一个将Kaldi的模型文件转换为ONNX模型的工具
08-11
Kaldi-ONNX 是一个将Kaldi的模型文件转换为ONNX模型的工具。 转换得到的ONNX模型可以借助MACE框架部署到Android, iOS, Linux或者Windows设备端进行推理运算。
【PaddleSpeech进阶】语音合成-onnx模型使用
coc_ai_studio的博客
08-19 4862
🚀 PaddleSpeech 是 all-in-one 的语音算法工具箱，包含多种领先国际水平的语音算法与预训练模型。你可以从中选择各种语音处理工具以及预训练模型，支持语音识别，语音合成，声音分类，声纹识别，标点恢复，语音翻译等多种功能，PaddleSpeech Server模块可帮助用户快速在服务器上部署语音服务。PaddleSpeech团队发表的论文入选NAACL2022，荣获。
Vosk Android 中文语音识别模型部署注意事项
最新发布
gitblog_07567的博客
06-29 358
Vosk Android 中文语音识别模型部署注意事项 在Vosk Android项目中部署中文语音识别模型时，开发者可能会遇到模型解压失败的问题。本文将详细分析问题原因并提供解决方案。 问题现象 当开发者将下载的中文语音识别模型(vosk-model-small-cn-0.22)放入项目assets目录后，运行应用时会出现"Failed to unpack the model&quot...
推荐开源项目：Kaldi-ONNX - 从Kaldi到高效的设备端部署
gitblog_00039的博客
06-08 642
推荐开源项目：Kaldi-ONNX - 从Kaldi到高效的设备端部署 Kaldi-ONNX是一款由小米开发的开源工具，它能够将Kaldi的深度学习模型无缝地转换为开放神经网络交换（ONNX）格式。这一创新的转换器不仅拓宽了Kaldi模型的应用场景，还极大地简化了在Android、iOS、Linux以及Windows等设备端的推理操作。 项目介绍 Kaldi-ONNX主要功能在于将Kaldi的Nn...
java调用sherpa-onnx 文字转换语音TTS 镜像离线部署直接调用，已经编译好相关文件和模型
11-26
java调用sherpa-onnx 文字转换语音TTS 镜像部署直接调用，已经编译好相关文件和模型， sherpa-onnx 是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD...
使用kaldi的sherpa-onnx根据文字语音合成（英文）
lstef的博客
06-25 1076
kaldi sherpa-onnx 文字转语音tts实现
使用kaldi的sherpa-onnx根据文字语音合成（中文）
lstef的博客
07-02 1494
【代码】使用kaldi的sherpa-onnx根据文字语音合成（中文）
Kaldi的安装
Dreamy_Z的博客
09-20 824
                                                       Kaldi的安装          Kaldi是一个用C ++编写的语音识别工具包，旨在供语音识别研究人员使用。它可以在Windows或者Linux下安装和编译，但建议在Linux编译，可在虚拟机上安装Ubuntu 16.04.03，64/32。如果实验室有服务器的，比如我们实验室，就可...
Kaldi-ONNX：开启语音识别模型转换与部署的新纪元
gitblog_00819的博客
08-07 895
Kaldi-ONNX：开启语音识别模型转换与部署的新纪元 在语音识别领域，Kaldi一直是研究和开发的热门工具。然而，随着技术的发展，将Kaldi模型高效地部署到各种设备上成为了一个挑战。Kaldi-ONNX项目的出现，正是为了解决这一难题。本文将深入介绍Kaldi-ONNX项目，分析其技术特点，探讨其应用场景，并展示其独特的优势。 项目介绍 Kaldi-ONNX是一个开源工具，旨在将Kaldi的...
DNNLibrary：Daquexian的NNAPI库。 ONNX + Android NNAPI
02-21
DNN图书馆 使用新的NNAPI在Android手机上运行ONNX模型！ Android 8.1引入了神经网络API（NNAPI）。 以Android System支持的“本机”方式运行模型非常令人兴奋。 :) DNNLibrary是NNAPI的包装（“ DNNLibrary”是d aquexian的NN API库）。它使您可以轻松使用Android 8.1中引入的新NNAPI。您可以将onnx模型转换为daq并直接运行该模型。 对于Android应用示例，请查看 。 电报组：，QQ组（中文）：948989771，回答：哈哈哈哈 截屏 该屏幕截图是MobileNet v2，包括浮动版本和8位量化版本 准备 请确保手机上的Android系统为8.1+，或者您可能要使用8.1+模拟器。 介绍 Android 8.1引入了NNAPI。 但是，NNAPI对普通的Android开发人员并不
kaldi环境搭建
疯子的博客
09-26 1972
今天作为语音识别实践的第一天，按照之前整理的关于语音识别的产品，挑选出了部分开源的产品，但是经过相关治疗的查阅，发现很多产品都已经属于落户的东西，在现在的学术研究中基本都不再采用以往的东西。再次查了现在学术界常用的东西，其中有一个叫kaldi的开眼的语音识别的产品。包括很多商业界的也在对这个东西做研究以及应用。 今天首先谈谈关于Kaldi的环境的搭建，之后再具体细看其代码： 先说一下我使用的系统是ubuntu16.04.6长期支持的版本 1、由于是新装的虚拟机系统，所以首先要保证git被成功的安装，因此先安
kaldi安装
大鹏的专栏
02-28 1011
利用gcc-6.3.0安装失败，建立软链接也是失败，重启系统不受影响。使用系统gcc安装开始安装cd kaldi-5.0 cd tools extras/check_dependencies.sh result: extras/check_dependencies.sh: all OK. make -j4 extras/install_irstlm.shkaldi目录下 cd sr
探秘RapidOcrAndroidOnnx：一款高效OCR引擎的深度解析
gitblog_00068的博客
04-24 883
探秘RapidOcrAndroidOnnx：一款高效OCR引擎的深度解析 在数字时代，光学字符识别（OCR）技术已经变得至关重要，尤其是在文本自动处理和信息提取领域。今天，我们有幸向大家介绍一个名为的项目，这是一个专为Android平台设计的高度优化的OCR引擎，利用ONNX模型进行文字识别，旨在提供快速、准确且易于集成的解决方案。 项目概述 RapidOcrAndroidOnnx是RapidAI...
在Android上将ONNX神经网络模型与TensorFlow Lite结合使用
寒冰屋的专栏
10-25 2417
在这里，我们从预先训练的模型中制作TensorFlow Lite模型。 这是有关在Android上使用TensorFlow Lite的系列文章中的第二篇。在上一节中，设置了开发环境以使用TensorFlow模型和Android开发。我们在这里继续为TensorFlow Lite调整网络。 在移动设备上使用TensorFlow Lite时，您可能希望使用已经经过培训的网络。预先训练的网络可让您完成收集和准备训练视觉识别器所需的大量数据的过程，从而更快地达到生产效率。可以使用多种不同的技术来构建预训练...
【大模型开发】ONNX 格式的大模型在 Android 上的部署与测试
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
03-17 4385
以下内容将以 ONNX 格式的大模型在 Android 上的部署与测试为核心，提供一套可运行的示例（基于 Android Studio/Gradle），并结合代码进行详细讲解。最后会给出一些针对在移动设备上部署 ONNX 推理的优化方法和未来建议。
安卓调用onnx模型并计算
weixin_44808225的博客
11-14 6830
安卓平台可以通过调用onnx模型来进行计算，这为移动设备提供了更多的计算能力和应用场景。通过使用onnx模型，安卓设备可以进行复杂的计算任务，例如图像识别、语音识别等。这为移动应用的功能和性能提升提供了新的可能性。同时，开发者可以利用onnx模型来开发更加智能和高效的安卓应用，为用户提供更好的体验。总的来说，安卓调用onnx模型并进行计算的能力为移动设备的发展带来了新的机遇和挑战。
android 使用 onnxruntime 部署 yolov5_face_landmark 人脸检测
这个人很懒什么都没有~
08-03 2503
下面是使用 opencv-camera，实时处理区域内人脸检测 android 推理 demo。
kaldi sherpa-onnx 生成keyword.txt
06-27
<think>我们正在讨论如何为KaldiSherpa-ONNX语音识别模型生成关键词文件（keyword.txt）。根据引用内容，Sherpa是一个基于下一代Kaldi和ONNXRuntime的开源项目，支持离线语音识别。关键词文件通常用于在语音识别中提升特定词汇的识别准确率。在Kaldi和Sherpa-ONNX中，关键词文件（keyword.txt）通常包含需要被识别的关键词列表，每行一个词。这个文件用于构建有限状态转换器（FST）来增强关键词的识别。步骤：1.创建一个文本文件，每行一个关键词。2.文件名通常为`keywords.txt`（注意：用户问题中写的是keyword.txt，但通常使用复数形式keywords.txt，不过具体名称取决于实际使用）。但是，仅仅提供关键词列表是不够的，我们还需要将其转换为模型可以使用的格式（通常是FST）。Sherpa-ONNX可能提供了工具来将关键词列表编译成所需的二进制格式。根据引用[2]中提到的sherpa-ncnn项目（虽然用户询问的是sherpa-onnx，但两者可能有相似之处），我们可能需要使用Sherpa提供的工具来生成关键词的FST。在Kaldi中，通常使用以下步骤生成关键词的FST：-创建一个词汇表文件（vocab），包含所有关键词。-使用fstmake命令生成FST。然而，在Sherpa-ONNX中，具体步骤可能有所不同。由于Sherpa-ONNX是较新的项目，我们需要参考其官方文档。根据Sherpa-ONNX的GitHub页面（https://github.com/k2-fsa/sherpa-onnx），我们可以找到相关工具。具体步骤（以Sherpa-ONNX为例）：1.创建一个关键词列表文件，例如`keywords.txt`，内容如下（每行一个关键词）：helloworldsherpa2.使用Sherpa-ONNX提供的工具`k2-fsa/onnx/bin/sherpa-onnx-keyword-spotter`（具体工具名称可能有所不同，请以实际为准）来生成关键词模型。但是，在Sherpa-ONNX中，关键词识别（KeywordSpotting）通常是在运行时加载关键词列表，而不是预先生成一个单独的文件。因此，我们可能需要直接提供关键词列表文件给识别程序。实际上，在Sherpa-ONNX的示例中，关键词识别是通过命令行参数直接指定关键词列表的。例如，在实时麦克风输入的示例中，我们可以这样运行：./bin/sherpa-onnx-keyword-spotter\--tokens=/path/to/tokens.txt\--encoder=/path/to/encoder.onnx\--decoder=/path/to/decoder.onnx\--joiner=/path/to/joiner.onnx\--keywords-file=keywords.txt\--num-threads=1其中，`--keywords-file`参数指定了关键词列表文件（每行一个词）。因此，生成关键词文件实际上就是创建一个文本文件，每行一个关键词。注意：关键词文件中的词必须在模型的词汇表中（即tokens.txt中）。如果关键词不在词汇表中，则无法识别。总结：1.创建一个文本文件，例如`keywords.txt`。2.每行写一个关键词。3.确保这些关键词在模型的词汇表（tokens.txt）中存在。4.在运行关键词识别程序时，通过`--keywords-file`参数指定这个文件。如果用户需要的是在构建语言模型时加入关键词（例如在解码图中加入关键词），那么可能需要更复杂的步骤（如构建一个包含关键词的FST）。但根据Sherpa-ONNX的示例，它支持直接通过关键词文件进行关键词识别，而无需重新编译整个模型。因此，对于Sherpa-ONNX，生成关键词文件非常简单：只需按格式创建文本文件即可。相关问题：1.如何确保关键词在模型的词汇表中？2.如果关键词不在词汇表中，有什么解决办法？3.如何测试关键词识别的效果？4.Sherpa-ONNX支持多少个关键词？5.关键词识别对识别准确率有什么影响？6.除了关键词文件，还需要其他配置吗？请注意：以上回答基于Sherpa-ONNX的一般使用方式，具体细节请参考其官方文档。</think>### 为 Kaldi Sherpa-ONNX 生成关键词文件 (keyword.txt) 在 Kaldi Sherpa-ONNX 中，`keyword.txt` 是用于**关键词唤醒**或**特定词识别**的配置文件，其生成步骤如下： #### 1. **创建关键词列表文件** 创建一个纯文本文件（如 `keywords.txt`），每行一个关键词： ``` 你好 打开灯光 停止 退出 ``` > ⚠️ 注意： > - 关键词需在语音模型的**词汇表范围内**（参考模型的 `tokens.txt`） > - 避免过长短语（建议 1-4 个词） > - 文件编码需为 **UTF-8 无 BOM** #### 2. **生成 keyword.txt 格式** Sherpa-ONNX 要求 `keyword.txt` 包含**关键词权重**（重要性系数），格式为： ``` 关键词1 权重值 关键词2 权重值 ``` 示例： ```txt 你好 1.5 打开灯光 2.0 停止 1.0 退出 1.0 ``` > 📌 权重说明： > - 默认权重 = 1.0 > - 更高权重（如 2.0）提升该词识别优先级 > - 权重范围建议 [0.5, 3.0] #### 3. **在 Sherpa-ONNX 中使用** 运行时通过参数加载关键词文件： ```bash ./sherpa-onnx \ --tokens=path/to/tokens.txt \ --encoder=path/to/encoder.onnx \ --decoder=path/to/decoder.onnx \ --joiner=path/to/joiner.onnx \ --keywords-file=path/to/keyword.txt \ # 加载关键词 --max-active-paths=4 \ # 并行解码路径数 ... ``` #### 4. **验证效果** - 测试命令（实时麦克风输入）： ```bash ./sherpa-onnx-microphone \ --keywords-file=keyword.txt \ --keywords-threshold=0.25 \ # 触发阈值（需调整） ... ``` - 调整参数： - `--keywords-threshold`：降低阈值（如 0.1）提高敏感度 - `--keywords-score`：控制误触发率 #### 注意事项 1. **模型兼容性**：仅适用于支持**关键词唤醒**的 Sherpa-ONNX 模型（需确认模型训练方式）[^1] 2. **权重优化**：通过测试集调整权重，平衡召回率与误触发率 3. **实时性要求**：嵌入式设备需简化关键词数量（建议 ≤20 个词） 4. **非关键词处理**：通用语音识别仍需完整语言模型 > 💡 提示：Sherpa-ONNX 的**流式识别架构**特别适合关键词唤醒场景[^1]，其 FST（有限状态转换器）会优先处理关键词路径。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

优快云资讯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值