【视频课】快速掌握5大模型部署框架(NCNN+MNN+Tengine+TensorRT+微信小程序)

tengine | tengine-nnie编译 阅读详情

87a972478830d13579fdebf587ed8e82.png

前言

欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:

第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。

第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。

第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,目标跟踪。

第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频分析,图像编辑。

第5层:掌握算法落地的关键技术,包括模型优化,模型部署。

d1473ff797678153a87cb551c230933f.png

其中部分课程的主体内容已经更新完毕,比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/视频分类/模型部署;部分课程正在重制更新中,比如模型优化;部分课程正在计划上线中,比如图像编辑,请大家及时关注!

最新的完整介绍如下:【视频课】超全深度学习路线图,有三AI所有免费与付费的视频课程内容汇总!

本次给大家介绍的课程内容是《深度学习之模型部署-移动端与服务端》,目标是帮助大家掌握好深度学习在各类平台中的部署问题。

为什么要学习这门课

深度学习模型必须要经过部署到实际的生产环境中,才能产生真正的应用价值。在各类落地场景中,有的是服务端的场景,追求的是更高的精度,更大的模型,更复杂的功能。

93457af86f4425bf89ba71de0a428465.png

有的是嵌入式平台,诸如手机等各类移动端设备、车载设备,追求的是低延迟,小模型。

因此我们进行模型部署的时候,需要各有侧重。当前模型优化和部署的工具非常多,包括TensorRT、NCNN、MNN等;当前的硬件平台也非常多,包括CPU、GPU,Arm、NPU、FPGA等。

924b6f2025fc239f8d4d30814df2819b.png

为了帮助大家学习深度学习模型部署,有三AI推出《深度学习之模型部署》课程,力争对大部分主流框架,以及典型部署平台进行介绍与实战。

子欲学算法,模型部署是最后的一环!这就是我们这一门课期望帮大家搞定的问题!下面请听课程的详细介绍!

课程内容介绍

本课程内容包括各类深度学习模型部署框架与平台,实践内容非常丰富。

本次课程中一共已经包含了5个平台和框架案例,分别为通用NCNN部署,Tengine在EAIDK嵌入式平台上的部署,TensorRT在服务器端的模型优化与部署,微信小程序的前后端完整部署,MNN在Android手机端部署,后续还会增加其他硬件平台与部署框架。

课程大纲如下:

27d33a9aef6d33945140548c6e49f9d5.png

课程大纲

下面简单了解一下各部分的内容:

(1) 模型部署基础。讲解模型部署的流程与常见的方式,约10分钟,本小节内容可以免费收听。

a3a5c54d62c45544da0abea7e225d033.png

ae347140af4a4d121e53a95726a81fee.png

(2) NCNN部署。NCNN是由腾讯优图实验室推出的为手机端极致优化的高性能神经网络前向计算框架,支持主流的平台和常见的视觉任务。本部分课程包括NCNN框架介绍和模型部署,主要包括NCNN框架特点,环境配置,模型格式转换,NCNN推理案例实现与代码解析,并附带完整的工程代码,约40分钟。

c52351f790584140b9903668833bb0e2.png

33c7c22c574f92edffb0abc252c5c3c8.pnge3700c6a1b06c4e3f8d70153c6280fca.png

423a2fe31744acadd42f168d89b13c38.png

c41bf5288e9a5f74f6f5b09c85e039d1.png

(3) Tengine嵌入式平台部署。Tengine涵盖了模型的加载解析,格式转换,计算图的调度和优化,在多种架构的芯片上高效运行,具有通用,开放,高性能等特点,本部分课程讲解Tengine框架介绍,在EDIDK嵌入式平台上的模型部署,并附带完整的工程代码,约40分钟。

7c0a3b23c0dc650386038e5285bfc2fa.png

98112e25dac29ca28176a1769af154ae.png

3ba3da8d88db632559174204c91ecc01.png

(4) 微信小程序部署。部署到线上现在最轻便且最方便传播的当属微信小程序了,微信小程序依托于微信,不需要下载安装即可使用,本课程内容包括微信小程序部署服务端开发与前端开发的内容,并附带完整的工程代码,约70分钟。

c472e46c886108ff72f9d7b94779ac1a.png

2081eefbb64078b38685878614b8e580.png

509828dd7801b05a6b70f6843928553d.png

(5) TensorRT模型优化与部署,TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。本部分课程内容主要包含Tensorrt入门、环境配置与安装、Python/C++接口网络加速实战等,并附带完整的工程代码,约90分钟。

1d985771a99d3517aa730b7b5a7dab96.png

d8cfa35a3623e1549da3a75262765d2a.png

(6) Android部署,本部分内容介绍MNN框架的编译安装,模型转化与量化加速、手机端部署实例3个部分,并附带完整的工程代码,约60分钟。

77f6a18175b80d7d827695366de8f165.png

b68c972275a614add8005dabdcb754e0.png

112b9fe8d0fb6024c852bf68a4c082c3.png

以上就是当前更新的内容,后续更新内容请大家及时关注,本课程讲师为言有三与有三AI团队项目负责人。

4349dd68e871fe2a0277a7252a92e2aa.png

龙鹏,笔名言有三,技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012),中国科学院半导体研究所神经网络实验室(2012-2015),先后就职于奇虎360人工智能研究院(2015.7-2017.5),陌陌科技深度学习实验室(2017.5-2019.3),深度学习算法专家,阿里云MVP,华为云MVP。

拥有超过7年的计算机视觉从业经验,拥有丰富的传统图像算法和深度学习计算机视觉项目经验,著有书籍《深度学习之图像识别:核心技术与案例实战》(机械工业出版社2019.4),《深度学习之模型设计:核心算法与案例实践》(电子工业出版社2020.6),《深度学习之人脸图像处理:核心算法与案例实战》(机械工业出版社2020.7),《深度学习之摄影图像处理:核心算法与案例精粹》(人民邮电出版社2021.4),拥有10余项发明技术专利与学术论文。

擅长领域:Caffe,Tensorflow,Pytorch等主流深度学习平台。神经网络与深度学习理论,深度学习模型设计与优化,计算机视觉的基础领域,AI美学,2D与3D人脸算法,生成对抗网络GAN等领域。

项目负责人简介如下:

9d628b3ce7856c0507f77617db6f3f27.png

一个时刻担心秃头的大龄程序员。大型公司8年工作经验,专注CV领域模型优化、模型部署。有三AI研发组负责人,擅长代码实战。

本课程特色与适合人群

本课程是模型部署课程,属于有三AI整个课程体系中的高阶课程,学习后将掌握深度学习模型部署的整个能力,但是对大家的能力有一些要求,包括:

(1) 熟练掌握深度学习模型训练与推理能力。包括Pytorch,CNN模型设计,CV基础方向。

(2) 拥有扎实的编程功底。熟练掌握Python,C++,Java等语言。

(3) 拥有基本的前后端开发能力。熟练使用Linux,了解服务端Python部署框架Flask等,熟悉html,CSS等语言,了解javascript语言等。

本课程适合人群:

(1) 所有学习人工智能/深度学习算法,并有志于从事该领域的人员。

(2) 从事深度学习模型技术应用落地的技术人员。

(3) 对模型的部署落地感兴趣,希望增加自己项目经验的技术人员。

如何获取课程

订阅本课程的方法有两个:

其一:单独订阅本视频专栏,本专栏暂时定价为399,随着后续内容继续增加会进行价格调整,感兴趣的请提前订阅,链接如下:

972ecd957aa82458d2770b8f6f36694f.png

df7654d2d353479a6ad14660215f7bf3.png

其二:参加有三AI-CV秋季划模型优化组,可以获得完整的课,季划介绍如下:

有三AI计算机视觉学习季划

e4b8c6ea31e57e7a536284f92e758f76.png

141b17039774f7566be088fd506210d0.png

有三AI季划是我们推出的终身计算机视觉培养计划,有三作为主要导师直接带领,囊括答疑,微信群交流,线下活动,多本自写的书籍,图文课件与代码,直播与直播,知识星球社区,内容组与研发组权限,了解详细请阅读以下文章:

【CV秋季划】模型优化很重要,如何循序渐进地学习好?

cuda第一次计算耗时_MNN 1.1.0发布:几何计算/TensorRT,CUDA后端/ASR模型支持/ARM CPU和GPU性能再提升/MNN工作台... 一、框架通用性1.1 几何计算几何计算是本次发布中大规模的框架重构。它将大部分算子的计算过程中与硬件后端无关部分(形状计算和几何计算)剥离出来,极大地降低了异构后端算子实现的成本。基于几何计算,MNN重写了目前所有的硬件后端。由于引入几何计算之后GPU后端算子的覆盖率的增加,在阿里巴巴内部的业务模型中,MNN GPU后端性能普遍获得约20%提升。1.2 新增后端基于几何计算机制,MNN新... 阅读详情

相关推荐

基于TensorFlow+CNN+协同过滤算法的智能电影推荐系统——深度学习算法应用(含微信小程序、ipynb工程源码)+MovieLens数据集(六)

本项目专注于MovieLens数据集,并采用TensorFlow中的2D文本卷积网络模型。它结合了协同过滤算法来计算电影之间的余弦相似度,并通过用户的交互方式,以单击电影的方式,提供两种不同的电影推荐方式。项目融合了协同过滤和深度学习技术,为用户提供了两种不同但有效的电影推荐方式。这可以提高用户体验,使他们更容易找到符合他们口味的电影。

小胡说人工智能的博客 1155

AI模型部署方案--微信小程序完整demo

具有AI功能的微信小程序目标体验小程序步骤问题源码 目标 借助于小程序的云开发功能(把模型保存在云存储中),开发一款免费的具有AI能力的小程序,实现模型的快速部署与上线。 体验小程序 步骤 第一步:进入微信公众平台注册小程序账号,下载微信开发者工具(以下简称工具)。 第二步:在github上下载微信官方提供的示例项目,把demo中的mobilenet文件夹导入到工具,然后参照官方说明构建项目。 微信官方AI示例 第三步:构建完成后,项目会报错,想运行起来需要对项目进行一些修改。 修改tsconfig

qq_17366981的博客 2487

基于百度EasyDL图像分类的通用微信小程序

百度EasyDL是零门槛AI开发平台,提供从数据采集、标注、清洗到模型训练、部署的一站式AI开发能力。对于各行各业有定制AI需求的企业用户来说,无论您是否具备AI基础,EasyDL设计简约,极易理解,最快5分钟即可上手学会,15分钟完成模型训练。本资源提供了将自己的图像分类任务训练并且通过公有云部署以后使用微信小程序部署给用户使用,使用简单,通过修改您训练的模型的AK和SK即可对接入该小程序,同时该小程序更可以在您的开发下拓展百度EasyDL的目标检测,图像分类等各种任务需求。

微信小程序部署机器学习模型全流程(1、模型的训练与导出)

本文记录了如何在服务器后端部署机器学习模型(分类,目标检测,语义分割,自然语言处理等),然后使用微信小程序作为前端,实现模型的部署的全流程。

m0_50572808的博客 3723

保姆级教程:在Ubuntu 21.04上搞定USRP X410的UHD 4.1驱动与Gnuradio 3.9安装(含虚拟机网络避坑指南)

本文提供在Ubuntu 21.04上配置USRP X410的UHD 4.1驱动与Gnuradio 3.9的详细教程,涵盖虚拟机网络设置、依赖安装、源码编译及常见问题解决方案,帮助开发者高效搭建SDR开发环境。

weixin_27869497的博客 273

2026软件测试面试题全解析:从用例设计到接口自动化与性能实战

在软件测试岗位的招聘考察中,面试官越来越看重候选人解决实际问题的工程能力,而不仅仅是背诵概念。从最基础的测试用例设计出发,覆盖功能测试、接口测试、自动化测试、性能测试、数据库与Redis一致性等核心知识体系,是应对中高级岗位面试的关键路径。理解Postman抓包、Python脚本、Pytest框架、JMeter压测指标背后的原理,能帮助测试人员构建完整的质量保障思维。当AI辅助测试成为行业新趋势时,掌握数据校验链路与风险识别意识,更能体现资深测试工程师的竞争力。本文围绕2026年高频软件测试面试题,梳理了从

weixin_28676289的博客 246

Python Django 深度学习 小程序

适用人群学习最流行的全栈技术 快速实现自己想法 创作和正式发布一个小程序/APP具备Python/Javascript基础课程概述=== Re:0 从零开始的Django深度学习微信小程序 ===本课程旨在提供给想学习当下最流行的全栈技术,快速实现自己想法,创作和发布自己的小程序/APP的同学一条捷径,以搭建一个轻量级的深度学习图片处理应用为例教你熟练掌握必要的技巧和框架。Talk is shit, show me the code (废话少说,我只看代码)=== 本课程所用到的技术栈 ===虚拟环境搭建: Docker, Docker-compose前端: 微信小程序后端: Python, Django, Django Rest Framework深度学习框架: Keras + Tensorflow详情内容可看本课程目录及其里面的课程介绍视频

深度学习神经网络项目常见小程序和帮助函数

前言 通常,我们的代码中需要一些小函数可以提高我们的代码阅读,这里做点笔记。 帮助函数 1. 显示时间 import time import math def asMinutes(s): m = math.floor(s / 60) # 地板取整 s -= m * 60 return '%dm %ds' % (m, s) def timeSince(since, percent): now = time.time() s = now - since es

xinjieyuan的博客 984

mos管结电容等效模型_MOS管的防冲击防反接电路

MOS管的反接和抑制冲击一:原理分析MOS管由于生产工艺等因素,会产生相应的寄生电容,体二极管等。Mos管的寄生电容如图1所示,可以看到其具有三个寄生电容:G和S的电容Cgs;G和D的电容:Cgd,也称为反向传输电容、米勒电容、Crss;D和S的电容Cds。D和S之间的体二极管D1.图 1:MOS管等效模型寄生电容的数值可以从元器件的datasheet中得到,如图2,图3:Ciss(输入电容)=C...

weixin_29179583的博客 1859

String+CytoScape构建PPI网络

1.下载CytoScape Cytoscape是一款专业强大好用的物生信息分析软件,主要达用于专业的研究人员使用,软件主要适用于整合模块化网络和生物科学联系网络图的绘制,支持多种文件格式,导入后就可以直接进行编辑或者分析等操作了,除此之外,软件还提供了强大的编辑工具,支持添加相应的注释信息,软件基于java环境组件打造。 下载地址:https://cytoscape.org/ 因为软件基于java...

xiaobai1_1的博客 1万+

【视频课】快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)!...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,目标跟踪。第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频...

hacker_long的专栏 1740

AGX Orin设计-外围电路设计之一

AGX ORIN是英伟达Jetson系列中算力规格最高端的模组,其高达200TOPS/275TOPS的算力可以为各类场景提供澎湃的算力支持,本篇文章针对AGX ORIN的常规外围电路设计做分析描述。

zhiyuchenkeji的博客 4487

【大模型开发】大模型转换为 NCNN 格式并在 微信小程序 中进行调用

以下内容将介绍如何将大模型转换为 NCNN 格式并在 微信小程序 中进行调用。我们会从整体流程、模型转换工具、NCNN WebAssembly(WASM)编译与集成、小程序前端代码示例等方面进行详细讲解,并在最后给出优化方向与未来建议。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1932

新手也能懂的Simulink汽车二自由度建模:从公式推导到模型搭建全流程

本文为新手提供了在Simulink中搭建汽车二自由度模型的完整实战指南。文章从模型核心概念讲起,详细讲解了如何将车辆动力学方程转化为状态空间模型,并逐步指导在Simulink中实现从参数设置、模块搭建到仿真验证的全过程。通过阶跃转向测试和参数影响分析,帮助读者直观理解车辆转向特性,并提供了实用的模型扩展思路与常见问题排查技巧。

weixin_29047919的博客 216

抖音创作者必备工具!免费一键批量下载无水印视频 + 一键提取抖音视频文案

抖音创作者必备工具!免费一键批量下载无水印视频 + 一键提取抖音视频文案

XiaoqiangClub的博客 3367

在微信小程序部署AI模型的几种方法

本篇博文主要描述了在微信小程序里部署AI模型的两种方法,基于微信云开发的onnx部署和基于服务器flask框架部署,以目标检测模型为例子,提供了一些思路和关键代码,希望对大家有所帮助

supermodule的博客 7620

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

微信小程序嵌入机器学习模型(一)

最近需要做一个微信小程序,具体就是将之前的数据建立的标准模型嵌入到小程序中,在此记录下自己的学习过程吧,这篇博文主要记录如何将python生成的神经网络模型打包成小程序支持的格式,下一篇博文将介绍如何在小程序中引用模型 我的电脑:windows10 python:3.7.0 tensorflow:2.2.0(使用pip在cmd终端安装) tensorflowjs:1.7.4r1(使用pi...

weixin_44719615的博客 6117

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

微信小程序使用 npm

微信小程序使用 npm 终端运行npm init 安装你想要的包npm i packageName 修改文件内容project.config.json 构建npm即可

weixin_44429307的博客 829

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

如何快速集成 chineseocr_lite 到微信小程序:实现高效拍照识别功能

chineseocr_lite 是一款超轻量级中文 OCR 开源项目,总模型仅 4.7M,支持竖排文字识别及 ncnn、mnn、tnn 推理,非常适合集成到对性能和体积敏感的微信小程序中,帮助开发者快速实现拍照识别功能。 ## 一、了解 chineseocr_lite 的核心优势 🚀 chineseocr_lite 之所以适合微信小程序开发,主要得益于其三大核心优势: - **超轻量级体积

gitblog_01018的博客 843

yolov5模型通过Tengine框架部署在FT2000上全记录

注意:如果只用原参数转为.onnx文件,会出现一些Tengine不支持的算子,因此我们需要用onnx的内置的一些api,在我们转换时,要加上 --train=True 和 --simplifier,加上后我们转换后的onnx文件才不会包含一些Tengine框架不支持的算子,并且取消掉了后处理操作。分为几步:不管用什么框架训练的网络模型都可以首先把我们训练好的权重文件,比如我用的pytorch框架做的训练,那我就将.pt文件转换为.onnx文件。注意:转换工具只能在x86的环境下编译,才能生成。

m0_55818283的博客 1434

TEngine性能全面超越ncnn

TEngine是由OPEN AI LAB开发的一款轻量级模块化的高性能神经网络推理引擎,专门针对Arm嵌入式设备优化,提供超过所有已知开源框架的无与伦比的性能,并且无需依赖第三方库,可跨平台使用支持Android,Liunx。 OPEN AI LAB是Arm发起的,旨在推动Arm嵌入式智能机器的产业发展,为智能机器应用场景构建嵌入式SoC基础计算框架,推动芯片、硬件、算法软件整个产业链的深度协作...

soralaro的博客 5967

NGINX(Tengine) 安装部署

一、下载编译环境包 yum -y install gcc gcc-c++ bzip2 perl curl curl-devel expat-devel gettext-devel openssl-devel libxml2 libxml2-devel libjpeg-devel libpng-devel freetype-devel libmcrypt-devel autoconf gd-d...

jon_stark的博客 2501

嵌入式AI在linux芯片平台上的部署方案,选型。

ONNX 简述 ONNX是一种AI神经网络模型的通用中间文件保存方法(可以理解成AI世界的XML),各种AI框架,Inference引擎,甚至OpenCV里面的dnn onnx相关的模块都可以解析ONNX文件并生成特定平台和运行框架所支持的神经网络模型。ONNX本身不是AI神经网络运行框架,只是AI神经网络模型通用中间描述文件格式 GitHub链接https://github.com/onnx/onnx 编程语言 C++ / Python 热度 5星 Tenso

u010451780的专栏 2904

【本周特惠课程】深度学习6大模型部署场景(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)速成!...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,目标跟踪。第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频...

hacker_long的专栏 801

OpenVino, MNN, TensorRT加载加密模型

1. 简介 说明OpenVino, MNN以及TensorRT怎么加载加密模型, 简要说明相关接口。 2. 示例 OpenVino std::vector<unit8_t> model; std::vector<unit8_t> weights; std::string xmlpath="model.xml"; std::string binpath="model.bin"; std::string password="xxx"; decrypt_file(xmlpath,

努力是为了躺平 3163
上一篇: 【视频课】先搞懂你用的模型,深度学习模型分析课程来了!
下一篇: 【视频课】行为识别课程更新!CNN+LSTM理论与实践!
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值