【视频课】快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)!...

模型推理部署框架选择 开放神经网络交换 ONNX(Open Neural Network Exchange)是一套表示深度神经网络模型的开放格式,由微软和 Facebook 于 2017 推出,然后迅速得到了各大厂商和框架的支持。通过短短几年的发展,已经成为表示深度学习模型的实际标准,并且通过 ONNX-ML,可以支持传统非神经网络机器学习模型,大有一统整个 AI 模型交换标准。功能定位:ONNX是一个模型表示格式,用于模型的互操作性和转换;而ONNX Runtime是一个高性能推理引擎,用于模型的优化和运行。应用场景。 阅读详情

3289af8471d70153012f784883bc2003.png

前言

欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:

第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。

第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。

第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,目标跟踪。

第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频分析,图像编辑。

第5层:掌握算法落地的关键技术,包括模型优化,模型部署。

082325abd83f677cca2a9edc2c384599.jpeg

其中部分课程的主体内容已经更新完毕,比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/图像翻译/视频分类/模型部署/模型优化/人脸图像检测与识别;部分课程正在重制更新中,比如人脸图像编辑;部分课程正在计划上线中,比如图像编辑,请大家及时关注!

为了方便大家对我们的视频课程内容进行索引,本次对我们社区的所有成系列的视频课程进行汇总,目前已经有超过20个专栏,超过200个小时的内容,各课程概述如下,详情请大家点击相关链接了解介绍。

最新的完整介绍如下:【总结】最专业最系统的CV内容,有三AI所有免费与付费的计算机视觉课程汇总(2022年7月)

bf44bc5b0e0691135ef436231c92d583.png

本次给大家介绍的课程内容是《深度学习之模型部署-移动端与服务端》,目标是帮助大家掌握好深度学习在各类平台中的部署问题。

为什么要学习这门课

深度学习模型必须要经过部署到实际的生产环境中,才能产生真正的应用价值。在各类落地场景中,有的是服务端的场景,追求的是更高的精度,更大的模型,更复杂的功能。

45f82cad5655b1e0cbce1413afcdfb02.png

有的是嵌入式平台,诸如手机等各类移动端设备、车载设备,追求的是低延迟,小模型。

因此我们进行模型部署的时候,需要各有侧重。当前模型优化和部署的工具非常多,包括TensorRT、NCNN、MNN等;当前的硬件平台也非常多,包括CPU、GPU,Arm、NPU、FPGA等。

3190977c6d6cab9da6430defed3d0911.jpeg

为了帮助大家学习深度学习模型部署,有三AI推出《深度学习之模型部署》课程,力争对大部分主流框架,以及典型部署平台进行介绍与实战。

子欲学算法,模型部署是最后的一环!这就是我们这一门课期望帮大家搞定的问题!下面请听课程的详细介绍!

课程内容介绍

本课程内容包括各类深度学习模型部署框架与平台,实践内容非常丰富。

本次课程中一共已经包含了6个平台和框架案例,分别为原生Pytorch在Android手机端部署,NCNN的通用部署,Tengine在EAIDK嵌入式平台上的部署,TensorRT在服务器端的模型优化与部署,微信小程序的前后端完整部署,MNN在Android手机端部署,后续还会增加其他硬件平台与部署框架。

课程大纲如下:

337a9ac78bcf10a074eaae31a07a9d74.png

课程大纲

以下为课程案例集中展示:

1d5d88ddee4be32f2a8b4f4c13dd81d7.png

下面简单了解一下各部分的内容:

(1) 模型部署基础。讲解模型部署的流程与常见的方式,约10分钟,本小节内容可以免费收听。

d728bb12b4c129e6dbcaf0448b6abcfa.png

117186a390fd81d4fb0e5baa1038bd28.png

(2) NCNN部署。NCNN是由腾讯优图实验室推出的为手机端极致优化的高性能神经网络前向计算框架,支持主流的平台和常见的视觉任务。本部分课程包括NCNN框架介绍和模型部署,主要包括NCNN框架特点,环境配置,模型格式转换,NCNN推理案例实现与代码解析,并附带完整的工程代码,约40分钟。

8e1e4efbf912e6818a669df48a3abb39.png

3760e0c5e78808f763839ab3ee53e1c6.png

fa31ea7cb3df0ebfa4caa20f02e4efda.png

cadd579b463ce1ab8d1423c0195fa47c.png

9aee95b4656c0aa3985bb023c8d64792.png

(3) Tengine嵌入式平台部署。Tengine涵盖了模型的加载解析,格式转换,计算图的调度和优化,在多种架构的芯片上高效运行,具有通用,开放,高性能等特点,本部分课程讲解Tengine框架介绍,在EDIDK嵌入式平台上的模型部署,并附带完整的工程代码,约40分钟。

fd50012613319fad913174bcfe9c44f3.png

ec6c1b52938d8fc604f51a6b4311e6b9.png

ebe706b97ce034347316b8fadd356e3e.png

(4) 微信小程序部署。部署到线上现在最轻便且最方便传播的当属微信小程序了,微信小程序依托于微信,不需要下载安装即可使用,本课程内容包括微信小程序部署服务端开发与前端开发的内容,并附带完整的工程代码,约70分钟。

ae775343f04a7b10c827944b4de29eb1.png

8a9268f05f154f889c8817c96c1972be.png

506c00eaa6a543ed29c41329bb451081.png

(5) TensorRT模型优化与部署,TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。本部分课程内容主要包含Tensorrt入门、环境配置与安装、Python/C++接口网络加速实战等,并附带完整的工程代码,约90分钟。

80451772fda6c0626b4a861ae0040b63.png

de23fd8a0170dc3b618dcdc58afc4a39.png

(6) 原生Pytorch Android部署,本部分内容介绍Android Studio的基本使用,安卓控件使用,图片读取与摄像头调用、展示,pytorch模型转换,模型测试与安卓端部署,并附带完整的工程代码,约120分钟。

736201d1b38f760d7f33b34cf3b0b08e.png

457b933416229019639bc2ea1e9241af.png

(7) MNN Android部署,本部分内容介绍MNN框架的编译安装,模型转化与量化加速、手机端部署实例3个部分,并附带完整的工程代码,约60分钟。

151cfbe48301d32eef1cd37f5e22730e.png

d7e0725d131ec8a9cc390501354476ef.png

932db02b815887360fa9a7705cbb3fd8.png

以上就是当前更新的内容,后续更新内容请大家及时关注,本课程讲师为有三AI团队。

39eed536f08627f0ff160f08e66d488d.png

龙鹏,笔名言有三,技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012),中国科学院半导体研究所神经网络实验室(2012-2015),先后就职于奇虎360人工智能研究院(2015.7-2017.5),陌陌科技深度学习实验室(2017.5-2019.3),深度学习算法专家,阿里云MVP,华为云MVP。

拥有超过7年的计算机视觉从业经验,拥有丰富的传统图像算法和深度学习计算机视觉项目经验,著有书籍《深度学习之图像识别:核心技术与案例实战》(机械工业出版社2019.4),《深度学习之模型设计:核心算法与案例实践》(电子工业出版社2020.6),《深度学习之人脸图像处理:核心算法与案例实战》(机械工业出版社2020.7),《深度学习之摄影图像处理:核心算法与案例精粹》(人民邮电出版社2021.4),拥有10余项发明技术专利与学术论文。

擅长领域:Caffe,Tensorflow,Pytorch等主流深度学习平台。神经网络与深度学习理论,深度学习模型设计与优化,计算机视觉的基础领域,AI美学,2D与3D人脸算法,生成对抗网络GAN等领域。

b4bf93b86400ad00c2c8c2da074e24ba.png

鲁健恒,大学老师,有三AI线上与线下课程讲师,《深度学习之模型设计》系列课程主讲人,SCI期刊IEEE ACCESS审稿人。专注于计算机视觉与人工智能领域,近期围绕人工智能领域,拥有4个发明专利授权,2个实用新型专利授权,以及1个软件著作权。

c2c5b3afbfbd242ed927df5b41d1af14.png

有三AI研发组负责人,一个时刻担心秃头的大龄程序员。大型公司8年工作经验,专注CV领域模型优化、模型部署。擅长代码实战。

本课程特色与适合人群

本课程是模型部署课程,属于有三AI整个课程体系中的高阶课程,学习后将掌握深度学习模型部署的整个能力,但是对大家的能力有一些要求,包括:

(1) 熟练掌握深度学习模型训练与推理能力。包括Pytorch,CNN模型设计,CV基础方向。

(2) 拥有扎实的编程功底。熟练掌握Python,C++,Java等语言。

(3) 拥有基本的前后端开发能力。熟练使用Linux,了解服务端Python部署框架Flask等,熟悉html,CSS等语言,了解javascript语言等。

本课程适合人群:

(1) 所有学习人工智能/深度学习算法,并有志于从事该领域的人员。

(2) 从事深度学习模型技术应用落地的技术人员。

(3) 对模型的部署落地感兴趣,希望增加自己项目经验的技术人员。

如何获取课程

订阅本课程的方法有两个:

其一:单独订阅本视频专栏,本专栏暂时定价为399,随着后续内容继续增加会进行价格调整,感兴趣的请提前订阅,链接如下:

8c3e71099fbee72fcf85a74190e262c8.jpeg

其二:参加有三AI-CV秋季划模型优化组,可以获得完整的课,季划介绍如下:

有三AI计算机视觉学习季划

2ac708503e1bc1cc9c47cf40de8a9c55.png

2c25e4e45baafc80100dffa7b00f5fd6.jpeg

有三AI季划是我们推出的终身计算机视觉培养计划,有三作为主要导师直接带领,囊括答疑,微信群交流,线下活动,多本自写的书籍,图文课件与代码,直播与直播,知识星球社区,内容组与研发组权限,了解详细请阅读以下文章:

【CV秋季划】模型算法与落地很重要,如何循序渐进地学习好(2022年言有三一对一辅导)?

df4241eff051bb5e94daef5e8bf54030.png

5555041f25d5c6978cc7279f7a835f24.png

c4feb294ae4d2f55adf1b1d2343696d2.png

往期相关

【信息科学与工程学】【人工智能】【异构计算】大模型部署整体架构 大模型部署的整体架构是一个多层次、软硬件协同的系统工程,旨在解决模型规模庞大、计算资源密集、延迟敏感等挑战。 阅读详情

相关推荐

JetLinks社区版VS企业版:手把手教你用PostgreSQL+Redis搭建物联网中台(Win7实测)

本文详细对比了JetLinks社区版与企业版的核心差异,并提供了在Windows 7系统上,使用PostgreSQL和Redis搭建物联网中台的完整部署教程。文章深入解析了从环境准备、后端服务构建到前端部署的每一步,为开发者在资源有限环境下构建高性价比物联网平台提供了清晰的实战指南。

w1x2y3的博客 307

汇总!7种大模型的部署方法!

选择部署框架的关键在于任务需求。只有根据实际需求来确定合适的框架,才能确保项目的顺利推进和成功实现。因此,在选择部署框架时,我们应该深入了解框架的特性、优缺点以及适用场景,综合考虑项目规模、技术栈、资源等因素,从而选择最适合的框架来支撑项目的实施。这样不仅可以提高开发效率,还能降低项目风险,确保项目的顺利推进和最终成功。

python1222_的博客 6856

Qt UI界面美化教程1:【“飞扬青云” Qt精美控件】使用教程1

相信很多小伙伴在使用Qt Widget的过程中都会遇到一个问题,开发出来的界面,丑!丑!丑!当然Qt做界面美化可以用到QSS,需要对前端知识有一定了解,后续本套教程将会做讲解。本篇文章,我们直接站在巨人(大佬飞扬青云)的肩膀上,使用他开发好的163款自定义控件,请大家一定支持他,去给他小心心,他的个人主页:本篇文章只讲述如何在 QtDesigner 安装这些控件。

2401_87556704的博客 1421

GraphRAG + Ollama 本地部署全攻略:避坑实战指南

1微软开源 GraphRAG 后,热度越来越高,目前 GraphRAG 只支持 OpenAI 的闭源大模型,导致部署后使用范围大大受限,本文通过 GraphRAG 源码的修改,来支持更广泛的 Embedding 模型和开源大模型,从而使得 GraphRAG 的更容易上手使用。2需要 Python 3.10-3.12 环境。安装完整后,需要创建一个文件夹,用来存储你的知识数据,目前 GraphRAG 只支持 txt 和 csv 格式。首先,我们需要运行以下命令来初始化。

bagell的博客 1675

MyBatis示例

MyBatis示例 基本示例 环境准备 jdk : 1.8.0 MyEclipse MySQL MyBatis-3.4.6.jar 新建JavaWeb Project 命名:mybatis 导入JAR包或添加POM.xml中添加依赖 MyBatis_config.xml <?xml version="1.0" encoding=&a

走在命运的左岸 721

Oracle19c时区升级实战:从32到42版本的数据泵TSTZ报错解决方案

本文详细介绍了Oracle19c时区版本从32升级到42的实战步骤,重点解决数据泵TSTZ报错问题。通过检查时区版本、下载补丁包、应用补丁及执行升级脚本等关键操作,确保数据库时区数据更新,避免夏令时转换错误和历史时区规则不匹配等问题。文章还提供了常见问题排查和升级后的注意事项,帮助DBA高效完成时区升级任务。

n7o8p的博客 285

大模型推理部署:LLM 七种推理服务框架总结

虽然可以合并自己的模型,但如果模型没有使用与vLLM中现有模型类似的架构,则过程会变得更加复杂。例如,增加Falcon的支持,这似乎很有挑战性;

机器学习社区 1万+

Cadence DSP 算子开发实战:从入门到精通

本文详细介绍了Cadence DSP算子开发的实战技巧,从入门基础到高级优化。内容涵盖DSP架构特性、内存管理、分块计算策略、SIMD指令优化等核心知识,并提供了性能调优和调试的实用技巧,帮助开发者快速掌握Cadence DSP开发精髓,提升图像处理等计算密集型任务的开发效率。

weixin_29278805的博客 438

【大模型】什么是大模型框架?常用的大模型框架盘点对比

大模型框架是指用于训练、推理和部署大型语言模型(LLMs)的软件工具和库。这些框架通常提供了高效的计算资源管理、分布式训练、模型优化和推理加速等功能,以便更好地利用硬件资源(如GPU和TPU)来处理庞大的数据集和复杂的模型结构。大模型框架的优点高效性:通过优化计算和内存管理,这些框架能够显著提高训练和推理的速度。可扩展性:支持分布式训练,可以在多个GPU或TPU上运行,适用于大规模数据集和复杂任务。灵活性:提供丰富的API和工具,使得研究人员和工程师可以方便地进行定制化开发。

yuuuuuuuk的博客 1万+

华为OD技术面真题 - Python开发 - 1

汇总华为OD技术面八股Python八股,高频技术真题并提供详细解答。

qq_45776114的博客 1719

骑砍Ⅱ霸主MOD开发(16)-FaceKey&BannerKey

摘要:本文介绍了FaceKey人物模型和BannerKey旗帜模型的生成流程。FaceKey通过序列化参数生成人物模型,包括头部(脸部、嘴、睫毛、眼睛)、眉毛、头发、身体和躯干等组件,每个部分通过特定标签和骨骼绑定实现。BannerKey则通过解析参数生成旗帜模型,包括模型、贴图和颜色等元素。两种模型都采用参数化设计和XML配置文件实现模型生成与定制。

骑砍战团&霸主MOD开发 2289

现在比较主流的大模型框架有哪些?

2. **豆包**:由字节跳动开发,专注于智能语音交互,提供语音识别、语音合成等服务,在语音交互方面具有较高的准确性和响应速度。8. **腾讯混元大模型**:腾讯提供的AI大模型,覆盖NLP、CV、多模态、文生图等多个领域,并在多个权威数据集榜单中登顶。6. **华为云盘古大模型**:华为云提供全栈式AI解决方案,盘古大模型覆盖NLP、CV、语音、多模态、科学计算等多个领域。9. **讯飞星火认知大模型**:科大讯飞开发,具备文本生成、语言理解、知识问答、逻辑推理、数学能力、代码能力和多模态能力。

程序大全的博客 889

【C++】构造函数之初始化列表(Initialization list of constructors)

本讲主要是构造函数的初始化列表的讲节,但是本节很重要,可以关乎后面写项目

m0_62599305的博客 2235

快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)

快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)

张伟的专栏 554

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

如何选择AI Agent框架?五种主流AI Agent框架对比

当前,由大模型驱动的AI Agent架构是比较常见的AI Agent落地架构,包含。

python1234_的博客 2856

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

零基础大模型框架部署(小白专用手册版)

最近两年大模型非常的火,自己也想部署一个来玩一玩,搜索各种资料研究,走了很多弯路,现在研究跑通之后,做了版基础小白都可用的手册篇,可运行大部分模型,如Qwen2-7b,供大家参考。部署模型步骤大致分为以下:

热爱生活,享受科技带来的智能和便利,这里是我的技术与思想碰撞的空间,一起探索科技背后的世界。 2141

全网最全-超大模型+分布式训练架构和经典论文

全网最全的超大模型和分布式训练架构梳理,并附上经典论文简介。

ZOMI酱 5563

深度学习模型推理部署常用的框架总结记录

深度学习模型推理部署常用的框架总结记录

Together_CZ的博客 3273

一步到位!7大模型部署框架深度测评:从理论到DeepSeek R1:7B落地实战

文章主要介绍了主流模型部署框架(Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang、DeepSpeed)的技术原理、优缺点、适用场景,并以DeepSeek R1:7B为例进行全框架部署实战,包括详细步骤和关键参数说明,最后给出不同场景下的选型建议。

zhangzhentiyes的博客 7314

大模型本地部署保姆级教程!三种方法教会你如何部署~

今天分享下关于大模型本地部署的一些基础知识,做一个简单的入门,并科普相关的工具使用。

2401_85373898的博客 6万+

老潘的AI部署以及工业落地学习之路

Hello我是老潘,好久不见各位。 最近在复盘今年上半年做的一些事情,不管是训练模型、部署模型搭建服务,还是写一些组件代码,零零散散是有一些产出。 虽然有了一点点成果,但仍觉着缺点什么。作为深度学习算法工程师,训练模型和部署模型是最基本的要求,每天都在重复着这个工作,但偶尔静下心来想一想,还是有很多事情需要做的: 模型的结构,因为上线业务需要,更趋向于稳定有经验的,未探索一些新的结构 模型的加速仍然不够,还没有压榨完GPU的全部潜力 深感还有很多很多需要学习的地方啊。 既然要学习,那么学习路线就显得比

老潘的博客 2372

模型部署 Model Deploy

介绍了模型部署的基本概念,步骤,方式,注意事项,性能评价和相关的类库等

JasonH2021的博客 9342

大模型应用的 10 种架构模式

同时,随着技术的不断进步和应用场景的不断拓展,我们还需要不断探索和创新新的架构模式,以应对未来的挑战和机遇。通过监测和分析系统的运行状态和资源使用情况,可以自动调整模型的配置和参数,以适应不同的场景和需求。增量学习和在线更新模式允许我们在不重新训练整个模型的情况下,只更新部分参数或添加新组件,提高了模型的适应性和灵活性。将大模型拆分成多个小模型或组件,分别在不同的计算节点上进行训练和推理,通过分布式计算提高处理速度和效率。通过训练一个小模型来模仿大模型的输出,可以在保持一定性能的同时,降低推理成本。

分享TOB相关资讯以及低代码相关信息!!! 994

大模型应用的10种架构模式

在塑造新领域的过程中,我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说,已经司空见惯,设计模式已成为程序员们的重要技能。然而,当我们转向大模型应用和人工智能领域,情况可能会有所不同。面对新兴技术,例如生成式AI,我们尚缺乏成熟的设计模式来支撑这些解决方案。作为一位老码农,我在这里整理总结了一些针对大模型应用的设计方法和架构模式,试图应对和解决大模型应用实现中...

我相信...... 1984

企业如何部署大模型?一文总结7种部署大模型的方式和框架

个人开发者:优先使用Ollama(零配置)或Transformers(灵活)。企业高并发场景:选择vLLM(吞吐量)或SGLang(结构化输出)。边缘计算/实时交互:LMDeploy的低延迟特性最佳。分布式需求:DeepSpeed和ModelScope支持多节点扩展。通过合理选择框架,开发者可最大化发挥大模型的性能潜力。建议结合业务需求参考官方文档调整参数,并监控GPU显存与吞吐量指标。

Androiddddd的博客 2475

LMDeploy 大模型量化部署实践

LMDeploy 是LLM在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。项目地址传送门。

qq_42866033的博客 1193
上一篇: 【总结】有三AI重要原创人脸相关的技术文章汇总(2022年8月)
下一篇: 【赠书】重磅神经机器翻译“百科全书”,你想学习的机器翻译内容,都在这里...
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3635粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

言有三

三人行必有AI

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值