百度嵌入式深度学习框架Paddle-Mobile

【深度学习】嵌入式人工智能概述 嵌入式人工智能概要 阅读详情

嵌入式深度学习有哪些应用

深度学习技术已经在互联网的诸多方向产生影响,时下关于深度学习和神经网络的讨论越来越多。深度学习技术在近几年得到飞速发展,各种互联网产品都争相应用深度学习技术,产品对深度学习的引入也更进一步地影响人们的生活。随着移动设备被广泛使用,在移动互联网产品应用深度学习和神经网络技术已经成为必然趋势。在移动端应用深度学习技术能够做出哪些惊艳的体验,是值得大家关注的首要问题。如下是图像搜索中的一个功能,实时翻译。

 

实时翻译

打开单搜索APP里左下角的图像搜索,设置好限定翻译垂类和语种,只要用手机对准想要翻译的文字的场景,就能够实时地给出翻译结果,并且将翻译结果完美地融合到你所看到的场景中。如图可见,翻译结果的字体颜色以及贴图的背景色,都与真实场景是完全一致的。同时,即使你的手机移动或抖动,你所看到的整个融合后的翻译结果也依然是稳定。

这个功能已应用于移动端深度学习技术,同时也被应用于很多计算机视觉相关技术,包括Tracking、背景色处理等功能。

技术实现:首先,需要对文字进行背景色和前景色提取,这里所说的颜色用于翻译结果渲染,增强现实感;其次是提取文字区域的角点,并进行光流追踪,这一步主要用于实时更新翻译结果贴图的位置信息,随着手机移动,需要让翻译结果贴图始终贴合在其应该出现的位置。除了需要更新位置信息,同时需要对翻译结果贴图进行透视变换,因为手机的旋转以及三维坐标系上的各种角度变化,这一步的透视变换就是为了得到一个透视变换矩阵,然后作用于翻译贴图,让贴图有同样的角度变化,大大增强了现实感。最后则是对识别到的文字进行翻译,获取翻译结果。

 

视频流式搜索

这一功能基于业界首创的本地“多目标识别+粗分类识别”相结合的实时识别模型,第一次大规模使用移动端GPU进行深度学习计算。在简单搜索的IOS端已经可以体验,2018年底将会上线百度APP的Android版。

实时检测取景框内的多个主体,并通过毫秒级响应的粗分类识别能力,快速告知用户各主体粗分类,从而帮助用户快速筛选拟识别主体。在出现识别结果后会标记多个目标,用户点击任何一个目标后都会快速出现搜索结果。

移动端深度学习遇到的问题

相比PC端,移动端设备的运算能力通常比较弱小,并且由于移动端的CPU需要将功耗指标维持在很低的水平,给性能指标的提升带来了制约。

Paddle-Mobile作为百度深度学习平台PaddlePaddle下的子项目,致力于嵌入式平台的深度学习预测。训练任务由 PaddlePaddle 在服务器端进行,Paddle-Mobile则破除深度学习落地嵌入式移动端平台的障碍。

Paddle-Mobile设计和PaddlePaddle保持了高度一致,能够直接运行PaddlePaddle新版训练的模型。同时针对嵌入式平台做了大量优化。嵌入式平台计算资源有限,体积敏感,用户过程中更加要求实时,所以必须针对各种嵌入式平台挖掘极限性能。

 

Paddle-Mobile的优势

目前支持 Linux-arm,IOS,Android,Dueros 平台的编译和部署。它的最上层是百度提供的一套非常简洁的预测 API,并服务于百度众多 APP。

以下是关于Paddle-Mobile 的架构。首先是底层针对各种硬件平台的优化,包括 CPU(主要是移动端的 ARM CPU),  GPU (包括 ARM的Mali,高通的Andreno以及苹果自研的GPU),另外还有华为的NPU、PowerVR、FPGA 等平台。 NPU 目前仍在合作中,未来会直接支持。在这一层,我们会针对各种平台实现优化后的算子,也称为 Kernel,主要负责最底层的运算。

与此同时,Paddle-Mobile还具备许多优势。

 

算法优化,以及模型压缩

算法优化包括降低算法本身复杂度,比如某些条件下的卷积操作,可以使用复杂度更低的 Winograd 算法,以及Kernel融合等思想。

为了带来更高的计算性能和吞吐,端芯片通常会提供低位宽的定点计算能力。目前Paddle-Mobile已初步具备在ARM CPU上进行8bit定点预测的功能,在测试的模型中8bit定点通常会带来20%~50%的性能提升。

 

多软、硬件平台覆盖

目前Paddle-Mobile已经实现和进行中的能力如下:

  1. ARM CPU
    1. ARM CPU计算深度学习任务是最基本通用的技术,使用也较为广泛。但是由于CPU计算能力相对偏弱,还要承担主线程的UI绘制工作,在APP中使用CPU计算深度学习计算任务压力较大。百度针对ARM CPU做了大量优化工作,但是随着硬件不断发展,未来专有AI芯片和GPU将更加适合做这项任务。
  2. IOS GPU
    1. IOS gpu使用metal支持直接编写,支持的系统范围向下到了IOS 9。这比coreml支持的范围有所扩大。目前该代码也已全面开放在Github。
  3. Mali GPU
    1. Mali GPU在华为等主流机型中广泛存在,百度使用了OpenCL对Mali GPU做了Paddle模型支持。在较高端的Mali GPU上已经可以得到非常高的性能。
  4. Andreno GPU
    1. Andreno GPU是高通设计的端侧GPU,同样基于OpenCL对其进行了优化实现。其高性能、低功耗的优势在Paddle-Mobile框架运行时得到了验证。
  5. FPGA ZU系列
    1. 该项工作代码已经可以运行,在Github同样可以找到相关代码。对于ZU9和ZU5等开发板完全支持。FPGA的计算能力较强,深度学习功能可以在Github找到,感兴趣的工程师们可以去了解。
  6. H5网页版深度学习支持
    1. Paddle-Mobile正在实现底层基于WebGL的网页版深度学习框架。百度使用了ES6。后续会使用WebAssembly和WebGL并行融合的设计,在性能上进一步提高。该功能近期也会在Github开源,欢迎关注。
  7. 树莓派、RK3399等开发板
    1. 树莓派、RK3399系列等硬件在开发者中被大量用及,Paddle-Mobile同样做了支持,解决了很多问题,目前在其平台上的cpu版本一键编译即可完美运行。
    2.  

体积小

Paddle-Mobile从设计之初就深入考虑到移动端的包体积的问题,CPU实现中没有外部依赖。

在编译过程中,如果该网络不需要的OP是完全不会被打入的。同时编译选项优化也为体积压缩提供了帮助。Protobuf是主流框架使用的格式协议,如果放弃对Protobuf支持将给开发者带来转换模型的工作量,于是Paddle-Mobile团队将Protobuf生成文件重新精简逐行重写,拿到了一个只有几十K增长的Protobuf体积。为开发者带来了一键运行的可行能力。

除了二进制体积,Paddle-Mobile对代码也进行了精简,整个仓库的体积非常小。

 

高性能CPU优化

针对 ARM CPU,百度会使用 ARM 汇编来实现Kernel 计算。

在卷积神经网络中,卷积操作是耗时占比最大的部分,经常会占到80%以上。而卷积操作通常可以转化为两个矩阵的乘法,如何来优化通用矩阵乘法GEMM就是成为了关键中的关键。Paddle-Mobile主要使用了以下技术:

  1. SIMD NEON优化技术
  2. 片上缓存命中优化
  3. 矩阵合理分块
  4. PLD汇编指令优化
  5. 循环展开
  6. 重排流水线

 

GPU 优化

CPU 和 GPU 的结构有着明显的区别, CPU每个核心仅有一个ALU算数逻辑单元,几个核心共享L2缓存。而 GPU 通常会有很多个ALU计算单元, 成百上千个计算单元并行计算。这种并行是非常适合于深度学习中的计算。Paddle-Mobile充分利用了手机平台的GPU对主流GPU几乎是全覆盖,包含了ios和android两大阵营中的GPU实现。未来,Paddle-Mobile将会以GPU为主,CPU为辅的思路发展。

另外,CPU 和 GPU 并不是用的同一块内存,大量数据计算时会有较大差异。因此百度使用了占用内存更小的数据类型。

 

内核融合

如今较为常见的深度学习框架都会将模型抽象为由一些基本运算单元组成的有向无环图,这些基本运算单元包括常见的卷积、池化以及各种激活函数等,在真正执行时这些OP会调用更底层的内核函数 kernel 来完成运算。通常情况下,一个复杂的模型会包含上千个OP,而这些OP在调用kernel时都会产生内存IO。内核融合可以将一序列顺序执行的OP kernel进行合并,从而减少内存IO次数,并充分利用CPU的流水线技术。此外内核融合也可以降低计算复杂度,比如Convolution和Batch Normalization的融合。

 

支持的模型

目前Paddle-Mobile已经在多个平台有不同模型覆盖,下表表示目前已经支持的模型范围。空白区域也是接下来会补齐的模型。

 

如何使用 & 如何参与开发

Paddle-Mobile经过了多次版本迭代,CPU和GPU版本都运行在几亿级用户的百度APP和简单搜索APP。如此量级的APP产品的验证是对靠性的例证。同时Paddle-Mobile也在和华为合作,HiAI平台的深度实现会在后继放出。

 

模型获取

深度学习技术离不开模型支持,Paddle-Mobile支持的是PaddlePaddle模型规范。模型的获取主要通过以下途径获得。

1. 如果你只是用来测试,对效果要求不高。测试模型和测试图片下载如下:

http://mms-graph.bj.bcebos.com/paddle-mobile%2FmodelsAndImages.zip

2. 若想有更好的效果独立训练模型,可以直接使用Paddle Fluid训练,该方式是最为可靠、推荐方式。

3. 如果你手中的模型是其他框架训练的模型,需要进模型转换才可以运行。比如将Caffe的模型转为Paddle Fluid的模型可以参考如下链接:

https://github.com/PaddlePaddle/models/tree/develop/fluid/image_classification/caffe2fluid

 

编译及开发

Paddle-Mobile框架所需要的测试模型已经在github完全免费公布,为开发者进一步使用提供便利。由于大量UI工程师对性能和底层优化有一定困扰,Paddle-Mobile的编译过程极其简单。以Android平台为例。在安装好cmake和ndk以后进入项目根目录,直接可以如下命令编译:

cd tools

sh build.sh android

如果百度已经明确自己的模型,同时想要更小的体积可以:

sh build.sh android googlenet

这样就不会打入开发者不需要的依赖,体积进一步减小。

设计文档,主要分为IOS、Android、FPGA、arm_linux等文档,在Readme和 https://github.com/PaddlePaddle/paddle-mobile首页中都有相关链接,其中包含大量设计和开发过程所需要的资料。

 

总结

Paddle-Mobile作为国内全面支持各大平台的移动端深度学习框架,以移动端特点出发,针对性做了大量的优化、平台覆盖工作,并且保持了高性能、体积小等诸多优势。为对中国开发者更友好,中文文档被重点维护,有任何问题都可以到Github发Issue。也欢迎相关爱好者加入开发为移动端深度学习的发展贡献力量。

【嵌入式AI】深度学习模型移植的移动端框架 深度学习模型移植的移动端框架 转载: https://blog.youkuaiyun.com/weixin_41770169/article/details/85625443 截止2018年,主流移动端框架总结: 腾讯:ncnn与featurecnn对比,前者开源早,代码、文档完善;后者测试速度略微快一点 小米MACE:刚开源,可能会碰到很多问题 百度MDL:速度比ncnn慢 安卓 cp... 阅读详情

相关推荐

基于STM32的嵌入式深度学习系统教程

本教程详细介绍了如何基于STM32开发一个嵌入式深度学习系统,包括环境准备、代码实现、应用场景和常见问题解决方案。通过本教程,读者可以掌握嵌入式深度学习系统的开发流程和技巧,应用于实际项目中。

stm32d1219的博客 2688

全国职业院校技能大赛-嵌入式系统应用开发赛项-竞赛任务书(第5套)

1. 选手竞赛过程中,各参赛选手应注意设备用电安全,禁止带电插拔设备的组件和模块,设备工作期间务必远离洗板水、饮用水等非绝缘性液体。若因操作不当导致设备出现问题应及时向现场裁判报告,由现场裁判处理。 2. 竞赛期间选手不得做出影响他人的动作,或者发出噪音干扰其他参赛选手正常竞赛。 3. 所有参赛选手进入赛场后,直到比赛结束之前,禁止向赛场任何人透露任何关于个人身份的任何信息。比赛结束前需参赛选手签字确认的所有文件,只填写竞赛当天的赛位号,填写其他信息均视为无效并需要重新签字。

君逍遥o 3160

cadence capture CIS 之添加数据库

2021-08-20 cadence capture CIS 之添加数据库准备一、添加数据源 准备 1、数据库文件(*.mdb) 2、电脑上安装好 cadence 软件 一、添加数据源 打开“ ODBC数据源管理器” ( 路径:C:\Windows\SysWOW64\odbcad32.exe ) ...

weixin_42256550的博客 6056

【嵌入式AI】深度学习基础

在前向传播的时候,让某个神经元的激活值以一定的概率 p 停止工作,这样可以使模型的泛化性更强,因为它不会依赖某些局部的特征。dropout效果跟bagging效果类似(bagging是减少方差variance,而boosting是减少偏差bias)

qq_41569098的博客 811

Isaacgym使用操作指南

Isaac Gym 是一个强大的仿真工具,特别适合那些需要进行大规模并行仿真和训练的机器人和强化学习任务。通过 GPU 加速、深度学习集成和丰富的物理仿真能力,Isaac Gym 能够显著提高仿真和训练效率,是机器人学和 AI 研究中的一大利器。

Tony Wey的博客 1万+

从USB相机标定到Aruco码精准定位:基于aruco-ros的机器人视觉实践

本文详细介绍了基于aruco-ros的机器人视觉实践,从USB相机标定到Aruco码精准定位的全流程。通过实战案例和优化技巧,展示了Aruco码在机器人导航中的高精度位姿识别能力,帮助开发者快速实现毫米级视觉定位系统。

weixin_27310417的博客 487

【嵌入式AI】深度学习推理优化原理

在一些特定的硬件上,IR中计算节点没有直接对应的硬件算子,只能通过子图的变换来达到子图中所有算子在对应的硬件上的存在。例如在MindSpore中,昇腾芯片上的Concat算子,只支持有限的输入个数(63个),因此当前端IR上的输入个数大于限制输入的时候,需要将该计算节点拆分成等价的多个Concat节点, 当Concat有100个输入时,单个算子只支持最多63个输入,此时会将该计算节点拆分成两个Concat节点,分别为63个输入和37个输入的两个算子。

qq_41569098的博客 1152

PyTorch 最新安装教程(2021-07-27)

PyTorch 最新安装教程(2021-07-27)前言1. 安装 Anaconda2. 检查显卡,更新驱动3. 创建PyTorch环境4. 配置清华TUNA镜像源5. 安装 PyTorch6. 测试 前言 万事开头难! 这句话又一次被我验证。 记得前不久刚陷入Tensorflow2.0的安装困境,这一次又被PyTorch 搞哭辽。 孩子太难了o(╥﹏╥)o,不过还好最终成功安装,感谢全网资源,感谢大佬们的博客!被我一次一次试了出来。 1. 安装 Anaconda Anaconda 是一个用于科学计算的 P

全网粉丝30W+,优快云、稀土掘金人工智能领域签约作者,人工智能、大模型、Python 爬虫,商务合作,请私信沟通。 23万+

百度嵌入式深度学习框架Paddle-Mobile介绍

本篇内容介绍嵌入式深度学习的应用场景、Paddle-Mobile的特性优势以及使用开发方法,预计阅读时间4分钟嵌入式深度学习有哪些应用深度学习技术已经在互联网的诸多方向产...

PaddlePaddle 1399

基于 YOLOv26 的遥感图像目标检测系统:从原理到模型

本文介绍了基于YOLOv26的遥感图像目标检测系统。YOLOv26凭借端到端设计、轻量化架构和小目标优化能力,有效解决了遥感图像中多尺度目标、复杂背景、小目标检测等挑战。系统采用CSPDarknet骨干网络和FPN+PAN特征融合模块,通过MuSGD优化器和改进损失函数提升训练效果。文章详细阐述了数据预处理、模型训练流程和优化技巧,包括Tile推理和混合精度训练。系统支持多种部署方式,在CPU上推理速度提升43%,能实现高精度、实时性的遥感目标检测,适用于城市规划、农业监测等场景。

一键难忘的博客 571

Codex入门24-效率倍增秘籍(终极总结:10个让你开发速度翻倍的Codex高级技巧)

专栏收官之作!经过前23篇的系统学习,你已经掌握了 Codex CLI 的核心用法。本文浓缩10个实战验证的高级技巧:管道化提示词将复杂任务拆成递进指令链,模板化 SKILL.md 打造个人技能库,Shell 别名让操作快如闪电,多模型切换省钱又高效……这不是理论课,每个技巧都配有可直接运行的代码。掌握全部10招,构建你的 AI 开发工作流闭环,让开发速度真正翻倍!

yueyeguzhuo的专栏 191

机器学习与计算机视觉(移动端深度学习优化框架)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 我们利用tensorflow、keras、caffe或者mxnet训练好的模型总要移植到嵌入式设备上去运行,因此需要特定的深度学习优化框架。这些框架会利用汇编指令、特定硬件对计算进行优化,提供计算的速度。同时,这些框架一般都自带tensorfow、caffe的模型转换工具,一般不...

嵌入式-老费,一个分享专业嵌入式知识的blog 1357

Buildroot RK3568系统中更改GPU驱动为:panfrost

1:Kernel中开启Panfrost 2:更新mesa 到mesa-24.0.2 3:查看/proc/interrupts 中的panfrost 中断 4:LInux启动日志 5:查看GPU负载

OpenWrt/WLAN/驱动/Android/嵌入式开发总结 2080

简单搜索--Paddle Mobile的技术实现和业务落地

Paddle Mobile是PaddlePaddle组织下的致力于嵌入式平台的深度学习框架,集成了百度移动端预测的实践经验,提供多平台支持,在工程实现支持及底层算法模型压缩的基础上,通过CPU、mall GPU等硬件加速,作用于DuerOS、百度APP、百度网盘APP等移动端场景。目前,Paddle Mobile在PaddlePaddle 0.14版本下已支持CPU、Mali GPU等平台,以及...

PaddleWeekly的博客 668

C# WinForms 多语种切换实现:打造国际化应用程序

合理实现多语种切换功能可以显著提升应用程序的国际化水平。模块化设计:将本地化逻辑模块化,便于管理和维护。异常处理:始终捕获和处理可能的异常,确保程序的健壮性。资源管理:合理管理资源文件,避免重复和遗漏。测试:在不同语言环境下进行全面测试,确保所有字符串都能正确显示。文档和注释:为关键代码添加详细的文档和注释,便于后续维护。

墨夶的博客 1692

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

百度再出Lens黑科技!用Paddle Mobile实现类人眼视觉AI能力

你知道吗?人类有 70%的信息获取来自于视觉。但目前存在两个问题: ①人眼本身只能看到物理世界,无法看到其背后复杂的信息世界; ②人类的记忆力有限,视野有限,于是会出现看了就忘、视野窄等各种问题。 科幻片里常见这样一种“人肉外挂”:通过一系列的技术改造,主人公(比如史塔克)眼前出现的一切物体都会被自动识别,什么名称、用途、用法用量,全都可以秒速反馈回来,并被即时载入到记忆中,过目不忘。 如今,...

PaddleWeekly的博客 926

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Fastgrind内存拦截的秘密:深入解析-Wl,--wrap链接选项的C++内存监控原理

Fastgrind 是一款轻量级、线程安全的 C++ 内存监控工具,它的核心拦截机制正是一个不起眼的链接选项:`-Wl,--wrap`。本文面向新手,用通俗的方式带你拆解这个 C++ 内存监控原理——它为什么选链接期拦截、`--wrap` 符号替换到底做了什么、以及拦截之后 Fastgrind 如何把每次 `malloc`/`new` 变成一份类似 Linux perf 的性能报告。 ## 什么

gitblog_00614的博客 1012

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

深度学习推理框架调研总结

深度学习推理框架,方便开发者在设备上部署AI应用。

骊山道童的博客 2618

2018高性能linux开发板,GitHub - zgyang2018/paddle-mobile: Multi-platform embedded deep learning framework (...

Paddle-MobileWelcome to Paddle-Mobile GitHub project。Paddle-Mobile is a project of PaddlePaddle as well as a deep learning framework for embedded platforms.欢迎来到 Paddle-Mobile GitHub 项目。Paddle-Mobile是P...

weixin_36002026的博客 265

Paddle-Lite实战指南:模型转换与部署全流程

Paddle-Lite实战指南:模型转换与部署全流程 本文详细介绍了Paddle-Lite深度学习推理框架的完整使用流程,涵盖从模型格式解析、opt优化工具使用到多平台API接口详解。文章首先深入讲解了PaddlePaddle原生模型格式和Paddle-Lite优化格式的区别与优势,接着详细解析了opt工具的各种优化策略和配置选项。然后全面介绍了C++、Java、Python三种API接口的使用方...

gitblog_00223的博客 647
上一篇: 百度深度学习公开课成都站启航,一站式进阶的实战应用案例解析
下一篇: PaddlePaddle踩坑指北系列——Linux安装(一)··
PaddleWeekly
博客等级 码龄8年 9粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值