pkyang2004的博客

本文介绍了在x86-64 linux系统上对onnxruntime-1.22.0进行交叉编译生成arm64目标平台动态库的实践过程，包括编译环境准备，源代码下载及修订，编译参数设置等过程，最后对编译过程中可能碰到的问题进行了总结，以供同行参考，以避开弯路。

本文介绍了在sherpa-onnx开源语音处理框架中集成ARM Compute Library（ACL）加速库的技术实践。通过编译支持ACL的ONNX Runtime库，并修改sherpa-onnx源码添加ACL执行提供器，实现了对ARM架构设备的加速支持。实验验证表明，轻量级语音模型（如TTS模型matcha-icefall和音质提升模型gtcrn）基本能正常运行，但加速效果不显著，甚至出现性能下降；而重量级模型则出现异常。分析可能原因包括最新源码问题或编译参数不当，后续需进一步优化解决。

本文分享了在RK3588嵌入式设备上部署小米Zipformer语音识别模型时遇到的问题及解决方法。主要遇到两个问题：1）在rknn_model_zoo例程编译时出现静态库版本不兼容，通过重新编译kaldi-native-fbank库并修改链接路径解决；2）sherpa-onnx编译时提示缺少portaudio库，通过修改编译脚本启用相关宏定义后成功编译。最终成功在RK3588上运行Zipformer模型，测试结果显示该模型具有较好的识别效果和实时性（RTF=0.22），验证了其在边缘设备上的适用性。

1 选定Qwen3-1.7B模型。综合考虑rknn-llm官网支持Qwen3模型的种类和手头RK3588测试板资源情况（只有4G内存），决定选用Qwen3-1.7B模型进行部署测试2 模型转换；rknn-llm运行库一定要下载最新版本，直接在 DeepSeek-R1-Distill-Qwen-1.5B_Demo目录下，通过将原来的export_rkllm.py简单改造成export_rkllm-qwen3.py脚本。3 RK3588上部署测试。

模型部署过程中碰到几个耗时费力的棘手问题：1）从huggingface.co下载DeepSeek-R1-Distill-Qwen-1.5B 权重文件失败。2）使用rkllm工具转换生成 DeepSeek-R1-Distill-Qwen-1.5B.rkllm 模型时出现“CUDA out of memory”错误。3）​从 ModelScope 下载预编译好的 rkllm文件时出现异常的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件。