心流的博客

本文是深度学习模型部署框架的第三篇，更多部署框架可以查看本专栏的其他文章。概念：mnn是一个轻量级的深度神经网络引擎，支持深度学习的推理与训练。适用于服务器、个人电脑、手机、嵌入式各类设备。优势：轻量性，无任何依赖；兼容性好，支持常见的框架；工具齐全，与开发者交流方便。坑点：实践的不多，目前没发现什么坑点。本文介绍了mnn的在应用方面的一些经验总结，更多内容参阅文档。

本文是深度学习模型部署框架的第二篇，更多部署框架可以查看本专栏的其他文章。概念：TensorFlow Lite 是TensorFlow在移动和嵌入式设备上的轻量级推理框架，专门针对资源受限的环境进行了优化，以便在手机、嵌入式设备上运行深度学习模型。优势：缩减了模型的大小和功耗，适合嵌入式等资源受限的设备。坑点：tfl 目前主要支持 cnn 相关的算子 ，对 rnn 等其他网络中的算子还没有很好的支持。对自家的tf框架支持比较好，对于其他框架支持不佳。

本文是深度学习模型部署框架的第一篇，更多部署框架可以查看本专栏的其他文章。概念：onnx一种开源模型格式，专注于推理所需的能力。同时，它还是一个中间深度学习框架，用于连接不同深度学习框架之间的转换。优势：跨平台兼容性好；性能优化；支持多种框架。坑点：onnx只是一个格式，就和json一样，只要满足规则，就是合法的。因此单纯从pytorch转成onnx格式很简单，但是不同后端框架接受的onnx是不一样的。