如何使用QNN Htp后端部署SenseVoice模型实现实时语音识别

原创 已于 2025-09-08 16:41:16 修改 · 763 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#语音识别 #人工智能

于 2025-09-08 16:37:03 首次发布

SenseVoiceASR-QNN 项目文档

项目简介

SenseVoiceASR-QNN 是一个基于高通QNN SDK 2.37.0.250724版本的手动编译语音识别项目，该项目将SenseVoice预编译的QNN ONNX模型使用HTP后端进行部署，实现了高效的语音识别功能。项目支持实时语音检测和识别，适用于边缘计算和嵌入式设备场景。

功能特点

  • QNN加速: 基于高通QNN SDK 2.37.0.250724版本编译，支持HTP后端加速
  • 多语言支持: 支持中文(zh)、英文(en)、粤语(yue)、日语(ja)、韩语(ko)等多种语言
  • 实时语音检测: 集成VAD(语音活动检测)功能，能够实时检测语音段
  • 流式处理: 支持实时音频流处理，适用于对话场景
  • 文本规范化: 支持带ITN(withitn)和不带ITN(woitn)的文本规范化选项
  • 高性能: 使用量化模型，在边缘设备上实现低延迟推理

环境要求

硬件要求

  • 支持高通HTP加速的处理器
  • 音频输入设备

软件要求

  • 操作系统
PRETTY_NAME="Ubuntu 22.04.2 LTS"
NAME="Ubuntu"
VERSION_ID="22.04"
VERSION="22.04.2 LTS (Jammy Jellyfish)"
VERSION_CODENAME=jammy
ID=ubuntu
ID_LIKE=debian
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
UBUNTU_CODENAME=jammy
  • Python 3.10+
  • 高通QNN SDK 2.37.0.250724
  • 手动编译的onnxruntime-qnn

依赖库

项目依赖的主要Python库如下（完整列表见req.info文件）：

onnxruntime-qnn==1.22.1
funasr==1.2.6
librosa==0.11.0
sounddevice==0.5.2
numpy==1.26.4
torch==2.8.0
torchaudio==2.8.0
transformers==4.55.0
sentencepiece==0.2.1

项目结构

SenseVoiceASR-QNN/
├── configs/                 # 配置文件目录
│   └── cfg.ini            # VAD参数配置
├── models/                 # 模型文件目录
│   ├── ASR/               # ASR模型
│   │   └── sensevoice-small-qnn-onnx/
│   │       ├── quant_model/    # 量化模型
│   │       ├── config.yaml     # 模型配置
│   │       ├── am.mvn          # CMVN参数
│   │       └── chn_jpn_yue_eng_ko_spectok.bpe.model
│   └── VAD/               # VAD模型
│       └── fsmn-vad/
├── funasr_onnx/           # FunASR ONNX实现
├── model_utils/           # 模型工具
├── model_infos/           # 模型信息
├── logs/                  # 日志文件
├── run.py                 # 主程序入口
└── req.info              # 依赖库列表

安装步骤

1. 环境准备

# 安装Python依赖
pip install -r req.info

# 设置QNN SDK环境变量, 编辑~/.bashrc, 添加如下内容
source /opt/qcom/qairt/2.37.0.250724/bin/envsetup.sh
export ADSP_LIBRARY_PATH=/usr/lib/rfsa/adsp:/opt/qcom/qairt/2.37.0.250724/lib/aarch64-oe-linux-gcc11.2
export QAIRT_SDK_ROOT=/opt/qcom/qairt/2.37.0.250724

2. 模型准备

确保以下模型文件存在：

  • ASR模型: ./models/ASR/sensevoice-small-qnn-onnx/quant_model/model.onnx
  • VAD模型: ./models/VAD/fsmn-vad/

3. 配置文件

编辑configs/cfg.ini文件，调整VAD参数：

[VAD_PARAMS]
decibel_thres=-100          # 分贝阈值
speech_noise_thres=0.6      # 噪声阈值
max_end_silence_time=800    # 最大结束静默时间
max_start_silence_time=3000 # 最大开始静默时间
speech_2_noise_ratio=1.0    # 语音与噪声比
speech_noise_thresh_low=-0.1 # 低噪声阈值
speech_noise_thresh_high=0.3 # 高噪声阈值

使用方法

1. 实时语音识别

运行主程序进行实时语音识别：

python run.py

程序将：
1.初始化音频设备
2.加载ASR和VAD模型
3.开始实时语音检测
4.对检测到的语音段进行识别
5.输出识别结果

2. 音频文件识别

使用SenseVoiceASR类识别音频文件：

from run import SenseVoiceASR
import logging

# 初始化模型
logger = logging.getLogger(__name__)
asr_model = SenseVoiceASR(logger, "./models/ASR/sensevoice-small-qnn-onnx/")

# 识别音频文件
result = asr_model.recognize_wav_file("test.wav", language="zh", textnorm="woitn")
print(f"识别结果: {result}")

3. 编程接口

SenseVoiceASR类
主要方法：

  • init(logger, model_dir, device=“qnn”, provider_options=[{}]): 初始化模型
  • recognize_wav_file(wav_path, language=“auto”, textnorm=“woitn”): 识别音频文件
  • recognize_wav(waveform, language=“auto”, textnorm=“woitn”): 识别音频数据
  • infer(feats, feats_len, language=“auto”, textnorm=“woitn”): 特征推理

支持的语言选项

  • auto: 自动检测语言
  • zh: 中文
  • en: 英文
  • yue: 粤语
  • ja: 日语
  • ko: 韩语
  • nospeech: 无语音

文本规范化选项

  • withitn: 带ITN（逆文本规范化）
  • woitn: 不带ITN

模型信息

ASR模型

  • 模型名称: SenseVoice Small
  • 输入形状: [1, 300, 560]
  • 输出形状: [1, 304, 25055]
  • 特征维度: 560
  • 序列长度: 300
  • 词汇表大小: 25055
  • 量化: INT8量化

输入输出

输入：

  • speech: [1, 300, 560] - 音频特征
  • speech_lengths: [1] - 特征长度
  • language: [1] - 语言ID
  • textnorm: [1] - 文本规范化ID

输出：

  • ctc_logits: [1, 304, 25055] - CTC输出
  • encoder_out_lens: [1] - 编码器输出长度

VAD模型

  • 模型: FSMN-VAD
  • 版本: v2.0.4
  • 设备: CPU

性能优化

1. QNN加速

项目使用高通QNN SDK进行加速：

provider_options = [
    {
        'backend_path': f'{os.environ["QNN_SDK_ROOT"]}/lib/aarch64-oe-linux-gcc11.2/libQnnHtp.so',
    }
]
asr_model = SenseVoiceASR(logger, model_path, device="qnn", provider_options=provider_options)

2. 音频处理优化

  • 重采样: 自动将音频重采样到16kHz
  • 特征提取: 使用FBank特征 + LFR + CMVN
  • 流式处理: 支持实时音频流处理

运行日志

程序运行日志保存在logs/run.log文件中，包含：

  • 设备信息
  • 模型加载状态
  • 语音检测结果
  • ASR识别结果
  • 错误信息
2025-09-08 07:24:52,094 - __main__ - INFO - 静态模型加载成功: models/ASR/sensevoice-small-qnn-onnx/quant_model/model.onnx
2025-09-08 07:24:52,094 - __main__ - INFO - 模型输入形状: [batch_size, seq_len, feat_dim] = [1, 300, 560]
2025-09-08 07:24:52,125 - __main__ - INFO - ▶开始语音检测...
2025-09-08 07:25:03,446 - __main__ - INFO - ASR Result: 喂你好

运行结果

在这里插入图片描述

故障排除

常见问题

1. QNN SDK路径错误
export QNN_SDK_ROOT=/opt/qcom/qairt/2.37.0.250724
2. 音频设备不可用
  • 检查音频设备连接
  • 确认设备权限
3. 模型文件缺失
  • 确认模型文件路径正确
  • 检查模型文件完整性

调试模式

启用详细日志：

import logging
logging.basicConfig(level=logging.DEBUG)

贡献

本项目需付费使用，欢迎在公众号“CrazyNET”留言

联系方式

源码获取

公众号回复“sensevoice-qnn”

语音识别sensevoice，流式实时转录（包括vad断句，全部代码）保姆教学
qq_34717531的博客
08-19 6381
模型的推理与部署SenseVoice模型提供了多种推理方式，包括使用modelscope pipeline进行推理，以及直接使用SenseVoiceSmall模型进行推理。此外，还可以使用funasr库进行推理，该库已经集成了vad（声音活动检测）模型，支持任意时长音频输入。在服务部署方面，SenseVoice模型具有完整的服务部署链路，支持多并发请求，确保了在实际应用中的高效性和稳定性。SenseVoice模型的性能测试。
【QNX】两个HTP同时跑模型的配置方法
静谧、淡雅
12-10 218
双HTP
SenseVoice模型静态导出与QNN编译完整指南
最新发布
FJCker的博客
09-02 965
环境准备: 安装必要的依赖和模型文件静态导出: 使用固定输入shape导出ONNX模型QNN编译: 将ONNX模型编译为适配高通硬件的格式部署使用: 在目标设备上部署和运行模型性能优化: 提供优化建议和最佳实践故障排除: 解决常见问题和调试技巧通过遵循本指南，您可以成功地将SenseVoice模型部署到高通硬件平台，充分利用硬件加速能力，实现高效的语音识别功能。
Qualcomm® AI Engine Direct 使用手册（5）
weixin_38498942的博客
12-28 2669
POWER_SAVER、LOW_POWER_SAVER 和 HIGH_POWER_SAVER频率较低，不支持投票。有效设置为 low_balanced、balanced、default、high_performance、持续_high_performance、burst、low_power_saver、 power_saver、high_power_saver、extreme_power_saver 和 system_settings。用户可以通过后端配置为 HTP 后端设置自定义选项和不同的性能模式。
CDSP/HVX/HTP 芯片简介与开发入门
热门推荐
shanli321的专栏
08-04 1万+
1. 简介：
高通骁龙(Qualcomm Snapdragon)CDSP HVX HTP 芯片简介与开发入门
tianpu2320959696的博客
11-28 2100
C:\Qualcomm\Hexagon_SDK\3.5.4\examples\common\benchmark\hexagon_Release_dynamic_toolv83_v66\ship\libbenchmark_skel.so ----->DSP端库。C:\Qualcomm\Hexagon_SDK\3.5.4\examples\common\benchmark\android_ReleaseG_aarch64\ship\benchmark ------->可执行文件。
解决qnn htp 后端不支持boolean 数据类型的方法。
点滴的岁月
04-27 443
解决qnn htp 后端不支持boolean 数据类型的方法。
4个android下使用的人脸识别模型文件tflite格式
06-11
这些模型文件通常包括了必要的网络结构和权重参数，开发者只需将模型集成到自己的应用程序中，并通过相应的API调用来处理图像输入，就可以实现人脸识别功能。 具体来说，Android平台上的人脸识别模型可以应用在多种...
在android 系统上qnn sdk转换，运行模型，精度调优示例总结
点滴的岁月
04-28 2050
前面讲了如何配置qnn sdk的环境，这一篇总结下qnn 实际转换一个onnx 模型，并运行的实现步骤。设备：1. ubuntu22.04 的Linux 服务器。2. 一台android手机。
大模型-internvl高通qnn运行源码解读
点滴的岁月
07-03 1476
模型链接:https://huggingface.co/OpenGVLab/InternVL2-2B论文官方简要说明 https://internvl.github.io/blog/2024-07-02-InternVL-2.0中文解读 https://zhuanlan.zhihu.com/p/702946079在线demo https://internvl.opengvlab.com/
【亲测免费】 streaming-sensevoice：实时音频转文字的强大工具
gitblog_00866的博客
03-29 1478
streaming-sensevoice：实时音频转文字的强大工具 项目介绍 streaming-sensevoice 是一个开源项目，旨在为开发者提供一种实时处理音频数据并转换为文字的高效解决方案。该项目基于 SenseVoice 模型，通过分块处理音频数据，实现音频的实时转录。 项目技术分析 streaming-sensevoice 项目采用了多种先进技术，包括但不限于： SenseVoic...
【亲测免费】 Omni SenseVoice 使用教程
gitblog_00567的博客
04-09 874
Omni SenseVoice 是一款基于 SenseVoice 的高性能语音识别解决方案，它针对快速推理和精确时间戳进行了优化。Omni SenseVoice 能够为音频转录提供更智能、更快速的处理方式。 ## 2. 项目快速启动 ### 安装 首先，您需要安装 Omni SenseVoice。使用以下命令进行安装： ```shell pip3 install OmniSenseVoic...
语音识别——根据声波能量、VAD 和 频谱分析实时输出文字
张飞飞的博客
04-11 1354
4. 对每个采集的音频块分析，需要连续几次（required_speech_frames）达到说话的条件才记录，超过（required_silence_frames）没说话则输出文字，超过（long_silence_frames）帧没听到声音则认为不再说话，退出监听状态。然而，我在实际测试中发现，这种方法在某些场景下不够灵敏，尤其是在白噪音较大或较小的环境中，难以做到真正的自适应。提供了丰富的模型资源和详细的调用代码。有些相似，但作为国产社区，它在本地化支持和模型适配上有着独特的优势，值得推荐。
“SenseVoice“：开启智能语音识别的新篇章
步子哥的博客
07-07 4556
"SenseVoice"不仅是一个技术项目，它是智能语音技术发展的一个缩影。随着技术的不断进步和开源社区的共同努力，我们期待"SenseVoice"将为语音识别领域带来更多的创新和突破。
深入探索SenseVoiceSmall：高效多语言语音识别与处理模型
a736377724的博客
11-27 3674
SenseVoiceSmall模型不仅提供了高效的性能和广泛的多语言支持，还在多种语音处理任务上表现优异。通过本文的介绍，相信读者已经掌握了如何在本地环境中使用ModelScope平台提供的SenseVoiceSmall模型。希望这篇文章能为从事语音识别技术的开发者们带来帮助。
【从零打造高通平台hexagon dsp profiling性能分析工具-1】
weixin_37653163的博客
01-30 1012
SDP与sysMonApp是两种最常使用的高通cdsp/htp性能分析工具，还有一个近两年出来的qualcomm profiler。cdsp有上百个pmu event，但硬件一次只能抓8个pmu，这就存在矛盾，需要取舍。下一篇介绍怎么巧妙的获取cdsp/htp pmu观测数据…可视化、直观性是工程师对工具永远的追求。
Qualcomm AI Engine Direct使用教程与QNN模型部署指南
本文档以Inception V3这一经典的卷积神经网络（CNN）模型为例，全面展示了如何使用QNN（Qualcomm Neural Network）工具链将深度学习模型从原始训练格式转换为可在多种硬件后端上执行的优化形式，并完成端到端的推理...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值