【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx

已于 2025-02-18 18:59:48 修改
阅读量1k 收藏 27
点赞数 12
分类专栏： 笔记 文章标签： xamarin android 语音识别
于 2025-02-18 17:46:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45809638/article/details/145707604
版权

文章目录

概要

本方详细介绍了如何在Xamarin From中如何实现离线语音识别合生，并提供解决方案与部分代码。这里我们选用 sherpa 开源项目部署语音识别、合成等模型。离线语音识别库有whisper、kaldi、pocketshpinx等，在了解这些库的时候，发现了所谓“下一代Kaldi”的sherpa。从文档和模型名称看，它是一个很新的离线语音识别库，支持中英双语识别，文件和实时语音识别。sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。该项目支持在没有互联网连接的情况下本地运行，适用于嵌入式系统、Android、iOS、Raspberry Pi、RISC-V 和 x86_64 服务器等多种平台。支持流式语音处理。

他有 ncnn、onnx 等平台的子项目：
https://github.com/k2-fsa/sherpa-onnx
https://github.com/k2-fsa/sherpa-ncnn

包含的功能如下：

功能描述
实时语音识别 (Streaming Speech Recognition)在语音输入的同时进行处理和识别，适用于需要即时反馈的场景，如会议和语音助手。
非实时语音识别 (Non-Streaming Speech Recognition)在录制完毕后进行处理，适合需要高准确率的场景，如音频转写和文档生成。
文本转语音 (Text-to-Speech, TTS)将文本内容转换为自然语音输出，广泛应用于语音助手和导航系统。
说话人分离 (Speaker Diarization)识别和区分音频流中的不同说话人，常用于会议记录和多说话人对话分析。
说话人识别 (Speaker Identification)确认说话者的身份，分析声纹特征并与数据库进行比对。
说话人验证 (Speaker Verification)要求说话者提供声纹以确认身份，常用于安全性较高的场合，如银行系统。
口语语言识别 (Spoken Language Identification)识别语音中使用的语言，帮助系统在多语言环境中自动切换语言。
音频标记 (Audio Tagging)为音频内容添加标签，便于分类和搜索，常用于音频库管理和内容推荐。
语音活动检测 (Voice Activity Detection, VAD)检测音频流中是否存在语音活动，提升语音识别准确性并节省带宽和处理资源。
关键词检测 (Keyword Spotting)识别特定关键词或短语，常用于智能助手和语音控制设备，允许用户通过语音命令与设备交互。

官方参考文档：
https://k2-fsa.github.io/sherpa/onnx/index.html

技术细节

步骤一、在Visual Studio中导入nuget包

找到项目 引用 右击引用 管理NuGet程序包
安装 org.k2fsa.sherpa.onnx.runtime.osx-x64
下载 org.k2fsa.sherpa.onnx.runtime.osx-x64
安装 Microsoft.ML.OnnxRuntime
安装 Microsoft.ML.OnnxRuntime**

步骤二、下载官方模型文件与SDK引入到项目

语音识别模型下载与引用
本文使用的是sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13模型，当然官方还提供了不少其他模型，各位小伙伴根据自己的需求下载
官方模型列表地址：官方模型
本文模型下载地址：sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13
在这里插入图片描述
模型解压后得到如下目录结构
在这里插入图片描述
复制此目录到项目目录Assets目录下：如果没有请Assets 在此目录下创建Assets文件夹
因为下来文件名sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13太长了所以我把名字修改成了sherpaonnxSpeechToText
在这里插入图片描述在这里插入图片描述
并修改所有文件属性为AndroidAsset
在这里插入图片描述

语音合成模型下载与引用
本文使用的是sherpa-onnx-vits-zh-ll模型，当然官方还提供了不少其他模型，各位小伙伴根据自己的需求下载
官方模型列表地址：官方模型
本文模型下载地址：sherpa-onnx-vits-zh-l
在这里插入图片描述
解压后文件目录
在这里插入图片描述
和上面一样复制此目录到Accets目录下 并修改所有目录文件属性为AndroidAsset
此项目中sherpa-onnx-vits-zh-ll改名成sherpaonnxvitszhll
在这里插入图片描述
引用so文件
官方模型列表地址：官方模型
这里选择的是v1.10.20java8的版本
在这里插入图片描述
解压后目录
在这里插入图片描述
在这里插入图片描述
在项目中创建libs目录 按照解压后的文件把so分别放到项目对应的目录中
在这里插入图片描述
设置所有so文件属性AndroidNativeLibrary
在这里插入图片描述
导入jar包
和模型一起下载的还有一个jar包 我们需要把此jar包引用到项目中，犹豫vs项目不支持直接引用jar包，所以我们要创建一个jar项目，再通过引用jar项目来引用jar包
在这里插入图片描述
引用此jar包项目
在这里插入图片描述
上面准备工作做好了现在我们就可以写代码运行了
这里是我的代码结构
在这里插入图片描述
ArsTools功能是把Assets资源中的模型导入到app内部目录（直接访问外部目录可能导致系统找不到模型文件）
ArsTools代码

using Android.App;
using Android.Content;
using System;
using System.IO;
using Android.Content.Res;
using Android.Content;
using Android.Media;
using Xamarin.Essentials;
using static Android.Provider.MediaStore;

namespace Your.Namespace
{

    public class ArsTools
    {
        private static readonly string TAG = typeof(Tools).FullName;

        // 设置 context
        private static Context _context;

        public static void SetContext(Context context)
        {
            _context = context;
        }

        // 递归复制文件
        public static void CopyAsset(string assetPath, string root)
        {
            AssetManager assetManager = _context.Assets;
            string[] files = null;

            try
            {
                // 获取指定目录下的所有文件和目录
                files = assetManager.List(assetPath);
            }
            catch (IOException e)
            {
                Console.WriteLine(e.Message);
            }

            if (files != null)
            {
                foreach (var filename in files)
                {
                    string assetFilePath = Path.Combine(assetPath, filename); // 资源文件的完整路径
                    string destFilePath = Path.Combine(root, assetPath) + "/" + filename; // 目标文件的完整路径

                    try
                    {
                        if (!File.Exists(Path.Combine(root, assetPath)))
                        {
                            // 如果是目录，则创建目录并递归复制
                            Directory.CreateDirectory(Path.Combine(root, assetPath));
                        }
                        // 判断是否为目录
                        if (assetManager.List(assetFilePath)?.Length > 0)
                        {
                            if (!File.Exists(destFilePath))
                            {
                                // 如果是目录，则创建目录并递归复制
                                Directory.CreateDirectory(Path.GetDirectoryName(destFilePath));
                            }
                            CopyAsset(assetFilePath, root);
                        }
                        else
                        {
                            if (!File.Exists(destFilePath))
                            {
                                using (System.IO.Stream input = assetManager.Open(assetFilePath))
                                using (System.IO.Stream output = File.Create(destFilePath))
                                {
                                    // 复制文件
                                    input.CopyTo(output);
                                }
                            }
                        }

                        Console.WriteLine($"文件复制：{destFilePath}，成功：{File.Exists(destFilePath)}");
                    }
                    catch (Exception e)
                    {
                        Console.WriteLine(e.Message);
                    }
                }
            }
        }
        //}



        // 播放 wav 文件
        //public static async void PlayWav(string wavPath)
        //{
        //    try
        //    {
        //        await Audio.PlayAsync(wavPath);
        //    }
        //    catch (Exception e)
        //    {
        //        Console.WriteLine(e.Message);
        //    }
        //}

        // 获取 app 存储路径
        public static string GetAppStoragePath()
        {
            return FileSystem.AppDataDirectory;
        }
    }

}

业务代码
ArsSpeechHelper

using AGVS.HIMS.Androids.Business.util;
using AGVS.HIMS.Forms.AppServer;
using Android.Content;
using Com.K2fsa.Sherpa.Onnx;
using NPOI.POIFS.Properties;
using System;
using System.Diagnostics;
using System.IO;

namespace Your.Namespace
{
    public class ArsSpeechHelper
    {
        Context ArsContext;
        public ArsSpeechHelper(Context context)
        {
            ArsContext = context;
        }

        public void SpeechToText()
        {
            try
            {
                //https://github.com/k2-fsa/sherpa-onnx/releases/download/asr-models/sherpa-onnx-streaming-zipformer-ctc-multi-zh-hans-2023-12-13.tar.bz2
                //数据库名称
                var sqliteFilename = "sherpaonnxSpeechToText";

                ArsTools.SetContext(ArsContext);
                ArsTools.CopyAsset(sqliteFilename, Tools.GetAppStoragePath());
                string model = ArsTools.GetAppStoragePath() + "/sherpaonnxSpeechToText/ctc-epoch-20-avg-1-chunk-16-left-128.onnx";
                string tokens = ArsTools.GetAppStoragePath() + "/sherpaonnxSpeechToText/tokens.txt";
                string waveFilename = ArsTools.GetAppStoragePath() + "/sherpaonnxSpeechToText/test_wavs/DEV_T0000000000.wav";
                
                WaveReader reader = new WaveReader(waveFilename);
                OnlineZipformer2CtcModelConfig ctc = OnlineZipformer2CtcModelConfig.InvokeBuilder()
                    .SetModel(model).Build();
                OnlineModelConfig modelConfig = OnlineModelConfig.InvokeBuilder()
                                .SetZipformer2Ctc(ctc)
                                .SetTokens(tokens)
                                .SetNumThreads(1)
                                .SetDebug(true)
                                .Build();
                OnlineRecognizerConfig config = OnlineRecognizerConfig.InvokeBuilder()
                                .SetOnlineModelConfig(modelConfig)
                                .SetDecodingMethod("greedy_search")
                                .Build();
                OnlineRecognizer recognizer = new OnlineRecognizer(config);
                OnlineStream stream = recognizer.CreateStream();
                stream.AcceptWaveform(reader.GetSamples(), reader.SampleRate);
                float[] tailPaddings = new float[(int)(0.3 * reader.SampleRate)];
                stream.AcceptWaveform(tailPaddings, reader.SampleRate);
                while (recognizer.IsReady(stream))
                {
                    recognizer.Decode(stream);
                }
                string text = recognizer.GetResult(stream).Text;
                //System.out.printf("filename:%s\nresult:%s\n", waveFilename, text);
                stream.Release();
                recognizer.Release();

            }
            catch (Exception ex) { }
        }

        public void TextToSpeech(string text = "你好！")
        {
            try
            {
                //测试
                text = "在语音输入的同时进行处理和识别，适用于需要即时反馈的场景，如会议和语音助手。在录制完毕后进行处理，适合需要高准确率的场景，如音频转写和文档生成。";
                // please visit
                //  https://github.com/k2-fsa/sherpa-onnx/releases/download/tts-models/vits-melo-tts-zh_en.tar.bz2
                // to download model files
                //读取数据库文件
                string documentsPath = (string)Android.OS.Environment.GetExternalStoragePublicDirectory(Android.OS.Environment.DirectoryDownloads);
                //数据库名称
                var sqliteFilename = "sherpaonnxvitszhll";

                ArsTools.SetContext(ArsContext);
                ArsTools.CopyAsset(sqliteFilename, Tools.GetAppStoragePath());

                string model = ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/model.onnx";

                string tokens = ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/tokens.txt";
                string lexicon = ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/lexicon.txt";
                string dictDir = ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/dict";
                string ruleFsts =
                         ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/phone.fst," +
                         ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/date.fst," +
                         ArsTools.GetAppStoragePath() + "/sherpaonnxvitszhll/number.fst";

                OfflineTtsVitsModelConfig vitsModelConfig = OfflineTtsVitsModelConfig.InvokeBuilder()
                                .SetModel(model)
                                .SetTokens(tokens)
                                .SetLexicon(lexicon)
                                .SetDictDir(dictDir)
                                .Build();
                OfflineTtsModelConfig modelConfig = OfflineTtsModelConfig.InvokeBuilder()
                                .SetVits(vitsModelConfig)
                                .SetNumThreads(1)
                                .SetDebug(true)
                                .Build();
                OfflineTtsConfig config = OfflineTtsConfig.InvokeBuilder()
                    .SetModel(modelConfig)
                    .Build();
                OfflineTts tts = new OfflineTts(config);
                int sid = 100;
                float speed = 1.0f;
                // 使用 Stopwatch 记录处理时间
                Stopwatch stopwatch = new Stopwatch();
                stopwatch.Start();
                GeneratedAudio audio = tts.Generate(text, sid, speed);
                stopwatch.Stop();
                float timeElapsedSeconds = stopwatch.ElapsedMilliseconds / 1000.0f;
                float audioDuration = audio.GetSamples().Length / (float)audio.SampleRate;
                float real_time_factor = timeElapsedSeconds / audioDuration;
                string waveFilename = Path.Combine(documentsPath, "tts-vits-zh.wav");
                audio.Save(waveFilename);
                //System.out.printf("-- elapsed : %.3f seconds\n", timeElapsedSeconds);
                //System.out.printf("-- audio duration: %.3f seconds\n", timeElapsedSeconds);
                //System.out.printf("-- real-time factor (RTF): %.3f\n", real_time_factor);
                //System.out.printf("-- text: %s\n", text);
                //System.out.printf("-- Saved to %s\n", waveFilename);
                tts.Release();

            }
            catch (Exception ex)
            {

            }
        }
    }
}

这样我们就可以在MainActivity.cs中使用啦

 [Activity(Label = "测试", Icon = "@drawable/app2", Theme = "@style/MainTheme", MainLauncher = true, ConfigurationChanges = ConfigChanges.ScreenSize | ConfigChanges.Orientation)]
 public class MainActivity : FormsAppCompatActivity
 {
  protected override async void OnCreate(Bundle savedInstanceState)
 {
     try
     {
         //设置主题
         this.SetTheme(Resource.Style.MainTheme);
         TabLayoutResource = Resource.Layout.Tabbar;
         ToolbarResource = Resource.Layout.Toolbar;
         //全屏界面
         var uiOpts = SystemUiFlags.LayoutStable
          | SystemUiFlags.LayoutHideNavigation
          | SystemUiFlags.LayoutFullscreen
          | SystemUiFlags.Fullscreen
          | SystemUiFlags.HideNavigation
          | SystemUiFlags.Immersive;
         Window.DecorView.SystemUiVisibility = (StatusBarVisibility)uiOpts;
         base.OnCreate(savedInstanceState);
         //调用接口
         ArsSpeechHelper arsSpeechHelper = new ArsSpeechHelper(BaseContext);
         arsSpeechHelper.TextToSpeech("");
         arsSpeechHelper.SpeechToText();
     }
  	 catch (Exception ex)
  	 {
  	 }
  	 finally
  	 {
      	 try
      	 {
          	 //初始化容器
          	 LoadApplication(new Bootstrapper(IoC.Get<SimpleContainer>()));
      	 }
      catch (System.Exception ex)
      {
      }
  }
 }

//启动程序 语音生成 与 语音合成 也都达到了我想要的结果（亲测有效）
当前还有一些不完美的地方
后期打算把这段ArsSpeechHelper逻辑放到Services中通过后台服务来执行。

GitHub示例代码地址

android 项目示例代码：
ars语音识别示例项目
tts语音合成示例项目

sherpa-onnx说话人识别+语音识别自动开启（VAD）+语音识别Python API
lstef的博客
06-17 3848
实现实时语音识别，自动识别语音开始结束，识别讲话人身份
【开发语音助手】android 语音识别、合成、唤醒 sherpa
这个人很懒什么都没有~
10-19 6535
前面介绍了 android 部署大模型，下一步就是语音处理，这里我们选用 sherpa 开源项目部署语音识别、合成、唤醒等模型。离线语音识别库有whisper、kaldi、pocketshpinx等，在了解这些库的时候，发现了所谓“下一代Kaldi”的sherpa。从文档和模型名称看，它是一个很新的离线语音识别库，支持中英双语识别，文件和实时语音识别。sherpa是一个基于下一代 Kaldi 和 onnxruntime 的开源项目，专注于语音识别、文本转语音、说话人识别和语音活动检测（VAD）等功能。
基于sherpa-onnx 安卓语音识别尝鲜
最新发布
ZLGSPACE的博客
04-16 1853
Sherpa是一个由 K2-FSA 团队 开发的 开源语音处理框架，旨在解决传统语音识别工具（如 Kaldi）在模型部署和跨平台适配中的复杂性问题。它通过整合现代深度学习技术和高效推理引擎，提供了从语音识别、合成到说话人识别的一站式解决方案，尤其在实时性、低资源消耗和跨平台兼容性方面表现突出。ONNX（Open Neural Network Exchange）：即开放神经网络交换格式，是一种用于表示深度学习模型的开放标准文件格式。
sherpa-onnx流式ASR模型
09-26
sherpa-onnx流式ASR模型 或者去sherpa官网下载对应模型 模型名 sherpa-onnx-streaming-zipformer-bilingual-zh-en-2023-02-20
snowboy+新一代kaldi（k2-fsa）sherpa-onnx实现离线语音识别【语音助手】
殷长庆的博客
08-08 1万+
本系列主要目标初步完成一款智能音箱的基础功能，包括语音唤醒、语音识别(语音转文字)、处理用户请求（比如查天气等，主要通过rasa自己定义意图实现）、语音合成(文字转语音)功能。语音识别、语音合成采用离线方式实现。语音识别使用sherpa-onnx，可以实现离线中英文语音识别。本文用到的一些安装包在snowboy那一篇的必要条件中已经完成了部分构建，在离线语音识别安装完成之后也会把相关代码写道snowboy项目中，语音唤醒之后调用语音识别翻译用户说话的内容。
AI-基于sherpa-onnx集成各SST、ASR、TTS模型
事后不诸葛的博客
12-23 1737
基于sherpa-onnx集成各SST、ASR、TTS模型并在安卓平台上运行
【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx（完整版）
weixin_45809638的博客
02-24 969
【离线语音助手】Xamarin From Android 语音识别 合成 sherpa-onnx （完结版）
sherpa.onnx tts语音模型
04-11
用户引用了四个来源，其中引用[2]提到sherpa-onnx支持离线语音识别和合成，引用[3]提到该项目模块化设计，包括语音合成模块，引用[4]则明确指出sherpa-ONNX支持语音合成等多种功能，并支持多种平台和编程语言。...
开源项目推荐：sherpa-onnx
gitblog_07718的博客
09-13 1944
开源项目推荐：sherpa-onnx sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
开源离线语音识别(SpeechRecognition)
热门推荐
阳宗德的博客
07-23 1万+
本次将使用SpeechRecognition和pocketsphinx进行离线语音识别。
安卓智能语音助手源代码
07-10
这是我本科的毕设成果，该语音助手界面仿照苹果的SIRI，采用科大讯飞的API做语音和语义识别，包括打电话、发短信、打开应用、翻译、聊天机器人等数十项功能，绝对值这个分数，希望能够帮助到有需要的人。
Android 语音助手源码，找了那么多，最强大就是这个
10-17
很好很强大的语音助手源码，非常实用，直接下载就能用，适合学习开发
Android语音助手DEMO
03-10
Android语音助手DEMO，下载后直接导入eclipse即可。适用于新手开发学习。
强大而全面的语音处理工具——Sherpa-Onnx
gitblog_00354的博客
08-10 2168
强大而全面的语音处理工具——Sherpa-Onnx 项目地址:https://gitcode.com/gh_mirrors/sh/sherpa-onnx 在人工智能的浪潮中，语音技术已成为连接人机的重要桥梁。今天，我们要向您隆重推荐一个开源宝藏——Sherpa-Onnx，一个集多种语音功能于一体的强大本地运行库，完美适配从服务器到边缘设备的各种场景。 项目介绍 Sherpa-Onnx 是一款开源的...
sherpa-onnx 项目教程
gitblog_00311的博客
08-10 1197
sherpa-onnx 项目教程 项目地址:https://gitcode.com/gh_mirrors/sh/sherpa-onnx 项目介绍 sherpa-onnx 是一个基于 next-gen Kaldi 的语音识别、文本转语音和说话人识别项目，使用 onnxruntime 进行本地处理，无需互联网连接。该项目支持多种平台和编程语言，包括 Android、iOS、Raspberry Pi、R...
sherpa-onnx 安装和配置指南
gitblog_07717的博客
09-13 4120
sherpa-onnx 安装和配置指南 sherpa-onnx k2-fsa/sherpa-onnx: Sherpa-ONNX 项目与 ONNX 格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为 ONNX 格式，并进行优化和部署。 ...
Sherpa-ONNX：说话人识别与语音识别自动开启（VAD）+ Python API 完整指南
小蜗牛的珍贵百宝箱
10-11 3838
Sherpa-ONNX 是一个基于 ONNX 的轻量级语音识别框架，支持多种语音处理任务，包括说话人识别（Speaker Recognition）和自动语音识别（Automatic Speech Recognition, ASR）。在本指南中，我们将重点介绍如何使用 Sherpa-ONNX 进行说话人识别、自动开启语音识别（VAD）以及如何通过 Python API 进行操作。通过使用 Sherpa-ONNX，我们成功地实现了说话人识别和语音识别的自动开启。
在虚拟机Ubuntu系统下部署【sherpa-onnx】，实现语音识别功能
tangshijiacd的博客
09-19 1685
为了在不联网的情况下，在终端仍然能够实现语音识别功能，为后续采用语音来控制机械臂执行任务做铺垫虚拟机配置：内存：8G处理器：4核硬盘：80G。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Doggie.0.0

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值