- Tensorflow Lite:
- mxnet - TVM RPC对接移动设备的框架
- EAIDK 搭载了 OPEN AI LAB 的核心 AI 开发平台 AID;和②的目标多少有些类似,将面向移动端的接口全部封装。类似于树莓派、arduino甚至安卓将硬件可编程话,一定程度上的封装后,AI方向的需求也开始被封装了。
- mxnet自带量化模块
- ncnn腾讯的移动端开源框架:https://github.com/Tencent/ncnn
- pocketFlow 腾讯的专门用于模型压缩的框架
- 大厂的发力
- Nvidia的tensorRT,这里不能忽略一个有相当的集成度的框架,NVcaffe,可剪枝与量化,nvidia维护的caffe版本
- facebook的Glow,用于推测时inference,集成于pytorch中
- intel的模型压缩开源框架:neon
- 处理稀疏矩阵的加速器TCL(Bit-Tactical: Exploiting Ineffectual Computations in Convolutional Neural Networks: Which, Why, and How)
- 谷歌的TPU-流形的数据处理硬件;这俩都是另外一个方向,重新设计新的硬件,小伙伴们看看热闹就好了
- pytorch的tensor-Decomposition
- 一种量化库:Espresso: Efficient Forward Propagation for BCNNs
- Distiller:https://github.com/NervanaSystems/distiller
- Tengine:https://github.com/OAID/Tengine 用于移动端设备
模型压缩综述文章
1. Recent Advances in Efficient Computation of Deep Convolutional Neural Networks
比较系统的论述了各种模型压缩的方法,分类更倾向于从结果的不同、或者导出结果不同的方式方法进行区分,这种方式也更接近于一般人的认知水平和方式。好处也就是引用代表性论文要多些。
2. compression of convolutional neural networks a short survey
这篇的分类这更倾向于从方法的本源出发,基于方法的形式或性质;抽象度要高一些。缺点就是太短了,应该是有相当的理解才能写出来这样的文章。对异构网络结构的论述的引用好像更冷门一些