- 博客(17)
- 收藏
- 关注
RSS订阅原创 如何使用tf_lite-2.5及以下版本调用Xnnpack，对模型进行加速
但是2.5以上的版本，tf里面会自动做规避和保护，所以还是比较推荐用更新的版本执行，另外2.11以上版，记忆神经网络的中间状态不用手动保存，内部会有保存，也比较方便。tf2.5之上的版本，Xnnpack加速，在编译的时候，是默认开启的，调用推理的时候会直接启动，比较快捷的方法是直接使用2.5以上的版本训练与推理，2.5及以下的版本，需要编译的时候，添加选项与代码添加，才能实现加速。1、编译库的时候添加:--define tflite_with_xnnpack=true，android才可以。
2024-08-01 11:28:36
468
原创 TVM 深度学习部署2
部署的过程在通过训练得到模型后，这里建议统一转换为onnx模型，再转为tvm模型。虽然有keras到tvm，tflite到tvm的api，但是不同的模型转换过程中，容易出现各种问题，能够转为onnx，再转tvm，问题出现的概率小很多。利用TVM对模型进行部署，经本人测试，能够加快模型的运行速度，这一点不仅在边缘计算还是云计算都有比较明显。如果有用到记忆神经网络（lstm，rnn等），需要中间状态额外输出并作保留。这样可以得到onnx的模型，再按照官网的接口就可以将onnx转换为TVM了。
2024-07-31 21:18:30
269
原创 TVM 深度学习部署库安装（linux环境，持续更新中......）
a、下载源码：git clone --recursive https://github.com/apache/tvm tvm。需要直接从源码进行安装，直接用pip install tvm会失败，虽然直接没有提示失败，但是import tvm会失败。完成后直接python -c "import tvm"即可成功。
2024-02-19 11:53:38
633
原创 Tinyalsa 可执行文件进行源码编译与录音（linux环境）
10、操作即可，如 ./tinycap /data/local/tmp/test.wav等；7、拉出so库与需要用到的可执行文件（tinycap（录音）、tinyplay（播放））；5、如果不需要交叉编译，则cmake .. ，make即可；9、chmod 777 可执行文件；6、完成后会出现如下文件。
2024-02-19 11:23:35
663
原创 在linux系统上进行安卓交叉编译（cmake 方法）
2、将本来的一些与linux编译相关选项删除，例如gcc、g++，因为交叉编译要指定工具链的版本；1、写好cmake，保证在linux下可以跑，没问题；
2024-02-06 16:35:01
820
1
原创 语音质量评估 Speech quality assessment 方法与代码编写
语音质量评估 Speech quality assessment 方法与代码编写
2022-09-28 14:45:58
6211
1
原创 onnxruntime 编译部署、模型转换与量化torch2onnx、python/C++API 推理编写
onnxruntime 编译部署、模型转换与量化torch2onnx、python/C++API 推理编写
2022-09-21 11:39:21
2487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人