深度学习计算框架综述（一）行业内计算框架总览

我们先来看一下行业内主流的深度学习计算框架，有超过十余个，大致可以分为三类：

1. 深度学习计算框架先驱（Tensorflow、Caffe等）：最早的开源深度学习框架，为整个AI产业赋能，大大推动了整个行业的发展，优点是同时支持训练和推理、跨平台、开源社区力量强大、框架迭代开发快等，能够满足大部分企业的需求，但是在端侧部署存在以下问题，对移动端处理器（CPU、GPU、DSP）的优化有限，限制了一些算力要求较高的AI算法在端侧的应用

2. 硬件厂商出品的计算框架：一些硬件厂商，如高通、联发科、三星、英伟达等，为了发挥、展示自家芯片的AI能力，都会推出计算框架，如SNPE、NeuroPilot、Eden、TensorRT，这些框架的特点是，只做推理，支持Tensorlfow、Caffe等模型的转换，对于自家的GPU、DSP、NPU都做了深度的优化，但对CPU几乎不优化（其实也可以理解，优化CPU等于在帮ARM、Intel干活了），还有两个问题：作为一个应用开发者，其实更希望一套代码能够兼容多个硬件平台，SNPE只能用在高通平台上，NeuroPilot只能在联发科平台运行...为了让应用兼容多个硬件平台，就需要集成好几个计算框架，维护起来极其Egg Pain；作为一个框架开发人员，因为这些硬件厂商的框架不开源，无法扩展其功能，如果算法中有些op转换不成功，就要给硬件厂商提case，基本要等很久才能支持（这里就不吐槽了）

3. 计算框架的后起之秀：首