深度学习实验大多是在服务器端进行的,在实际的应用中,想要把训练好的模型投入实际的应用中去的时候往往需要转化为适应于边缘端或者是移动端计算的格式,一是缩减模型大小降低原有的参数体量,二是借助于硬件环境的加速能力,提升模型的推理速度,总之就是为了能够在板子上跑的更快点。
在实际的开发实践中,我们选择使用的是RK3399Pro这个型号的板子,提供了NPU级别的硬件加速计算能力,官方的文档地址在这里,首页截图如下所示:
这里是官方给出来的云计算和边缘计算的简单对比说明:
云计算与边缘计算
云计算
端侧仅负责发送输入数据,并接收计算结果
计算资源集中管理和分配,借助服务器的强大性能,可以实现很高的浮点算力和精度水平
部署便捷,云服务器可直接部署训练的模型框架,无需转换和二次开发即可使用
算力成本高,常规神经网络运算使用GPU浮点运算&