11月出Tensorflow官方提供的本地编译的方式在arm嵌入式设备运行Tensorflow Lite,我在11月中旬使用本地编译的方式编译二进制的Label_image, 对RK3288 以及树莓派上做了性能的测试。
从图标上看物美价廉的树莓派其实其实性能并不弱。
但是今天我想介绍一下我新发现让我眼前一亮的框架Tengine.
Tengine 显著的优点是性能和兼容性。使用Tengine框架后运行性能可以得到大的提升。下表为MobileNet V1_1.0_224 浮点型模型单张图片分类在单核A53的性能对比。我们可以看到Tengine 有相当大的优势。
Tengine 框架有着非常好的模型兼容性,支持直接加载caffe/mxnet/tensorflow
模型文件,而不需要事先转换,而且用户仅需编译就可以利用Tengine的加速Caffe和Tensorflow性能。
Tengine 不仅可以让分类网络的性能大大提升,连大家众所周知的MobileNet-SSD 网络也能提升它的性能。很多人都觉得树莓派的性能不足以hold住检测网络,但是如果用Tengine框架就可以做到。
在树莓派使用Tengine Explore 版后,每一帧的检测都只耗时286.136ms,足以可以看出Tengine的强大的性能。