移动端的AI部署

1、背景

移动设备相较于 PC ，携带便携，普及率高。近年来，随着移动设备的广泛普及与应用，在移动设备上使用深度学习技术的需求开始涌现。
手机作为最靠近用户、最普及的终端落地，越来越多的算法模型应用到移动端上面，如何高效的把模型部署在移动端成为了急需解决的问题。

1.1、在线模式

在移动端进行简单的预处理之后，然后上传用户数据(图片、文字、语音、视频等)至云端服务器，通过服务器强大的算力得到推理结果，随后将推理结果下发至端设备。

1.2、离线模式

服务器上训练好的模型经过移动端深度学习框架(TensorFlow Lite、NCNN、TNN、MNN、CoreML等)量化压缩、转化后，在移动端设备上进行预测。这种方式在无网络连接的情况下即可实现，保证用户的隐私性。

1.3、不同平台推断差异

在线模式和离线模式的推理平台有所不同，不同平台的推断差异如表1-1所示。
表1-1 不同平台的推断差异

问题维度	基于端设备推断	基于云端服务器推断
延迟性	低延时，实时体验	由于存在异步通信和传输带宽的影响，有一定的延迟
资源能力	cpu/gpu处理能力，设备的算力有限，存储空间受限	云端服务器的算力强大，储存空间充足
网络连接	网络不佳的或者没有的情况下，可以离线运行	需要网络连接才可以运行
成本问题	电池电量、下载模型所需要的时间	数据传输带宽，公司云端服务器的运营和服务成本
隐私问题	不需要上传用户数据(图片、视频、语音、文字等)到云端服务器