主流边缘端部署嵌入式平台

主流边缘端部署嵌入式平台

引言

AIoT开启了继物联网、人工智能后又一大想象无限的领域,同时也给智慧物联、人工智能在应用层面拓展更多可能性开启新的篇章。边缘计算对势头正盛的物联网的发展至关重要。近日,机器学习和数据科学咨询公司 Tryolabs 发布了一篇基准评测报告,测试比较了英伟达 Jetson Nano、谷歌 Coral 开发板(内置 Edge TPU)、英特尔神经计算棒这三款针对机器学习设计的边缘计算设备以及与不同的机器学习模型的组合。结果表明,无论是在推理时间还是准确度方面,英伟达的 Jetson Nano 都是当之无愧的赢家。另外他们也给出了在树莓派 3B 与英伟达 2080ti GPU 上的结果以供参考。

RK1808

RK1808人工智能计算棒

便携的边缘计算设备,有基于Movidius Myriad 2的神经计算棒一代,而后有基于Google Edge TPU的Coral神经计算棒、INTEL Myriad X的神经计算棒二代,“若派Ropal”神经计算棒,Intel加速棒等,虽然说各有特色,但还是有一个共同点,那就是不便宜,对于国内一些想开拓边缘计算领域的中小企业或者走量的企业来说,成本不是太好控制,因此推荐国产瑞芯微RK1808人工智能计算棒——一款物美价廉的深度学习开发工具。

img

基于RK1808 NPU芯片,主要面向基于人工智能平台以及边缘计算产品的深度学习开发者。

RK1808人工智能计算棒算是众多边缘计算设备中的佼佼者,外观时尚精致,尺寸只有60mm*19mm(差不多传统U盘大小),并且有多种颜色可选。接口采用USb3.0 Type A接口,无风扇设计,利用USB接口供电,使用时无需连接云端,即可为开发主机设备以及众多第三方的单板计算机提供基于深度学习网络模型的推理加速。

瑞芯微RK1808人工智能计算棒的内置芯片RK1808,这是在瑞芯微在CES2019消费电子展发布的一款内置高能效NPU的AIoT芯片解决方案,在硬件规格上,瑞芯微RK1808 AIoT芯片采用双核Cortex-A35架构,NPU峰值算力高达3.0TOPs,VPU支持1080P视频编解码,支持麦克风阵列并具有硬件VAD功能,支持摄像头视频信号输入并具有内置ISP。

RK1808芯片架构

img

优势

极致低功耗

  • 芯片采用22nm FD-SOI工艺,相同性能下功耗相比主流28nm工艺可降低30%左右;
  • 内置2MB系统级SRam,可实现always-on设备无DDR运行;
  • 具有硬件VAD功能,支持低功耗侦听远场唤醒。

强大AI运算能

### 深度学习模型在嵌入式设备上的部署方法 为了将深度学习模型成功部署嵌入式设备上,需要综合考虑硬件资源限制以及软件工具链的支持。以下是关于这一过程的关键要素: #### 1. **模型优化** 由于嵌入式设备通常受限于内存和计算能力,因此在部署之前需对模型进行一系列优化操作。常见的优化技术包括但不限于模型剪枝、量化以及蒸馏等[^1]。 - **模型剪枝**:移除神经网络中的冗余权重或节点,从而减少参数数量并降低存储需求。 - **量化**:将浮点数表示转换成低精度整型(如8位),这不仅减少了所需的存储空间还可能加速运算速度[^3]。 #### 2. **框架支持** 多种深度学习框架提供了专门用于边缘计算场景下的解决方案,其中一些主流选项如下: - **TensorFlow Lite**: TensorFlow官方推出的轻量级版本,专为移动和物联网设计,在保持较高性能的同时大幅缩减了体积大小。 - **PyTorch Mobile / ONNX Runtime**: PyTorch也逐渐增强了其对于移动平台的支持力度;另外ONNX作为开放标准可以兼容多个不同后执行引擎,适合跨平台移植[^4]. - **C-based Implementations**: 对于某些极情况下甚至可以直接采用纯C/C++编写整个推断流程来获得最佳控制权与效率提升. #### 3. **具体实施步骤** 当选择了合适的框架之后,则按照该框架文档指导完成相应准备工作即可顺利推进项目进展。一般而言会经历以下几个阶段: - 数据预处理: 确保输入格式匹配目标架构预期. - 转换导出: 将原始训练所得文件转化为特定形式以便加载至最终载体之上运行. - 测试验证: 不仅要确认功能正确无误还需评估耗时指标满足实时性要求. ```python import tensorflow as tf converter = tf.lite.TFLiteConverter.from_saved_model('saved_model_directory') tflite_model = converter.convert() with open('model.tflite', 'wb') as f: f.write(tflite_model) ``` 上述代码片段展示了利用TensorFlow API把已保存下来的checkpoint转译成为可供Android/iOS使用的二进制格式实例.
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Metroplitan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值