【本周特惠课程】深度学习模型优化(剪枝量化蒸馏神经网络搜索)核心技术理论与实战!...

深度学习优化理论篇 1. 训练误差和泛化误差 机器学习模型在训练数据集和测试数据集上的表现。如果你改变过实验中的模型结构或者超参数,你也许发现了:当模型在训练数据集上更准确时,它在测试数据集上却不⼀定更准确。这是为什么呢? 因为存在着训练误差和泛化误差: **训练误差:**模型在训练数据集上表现出的误差。 **泛化误差:**模型在任意⼀个测试数据样本上表现出的误差的期望,并常常通过测试数据集上的误差来近似。 训练误差的期望小于或等于泛化误差。也就是说,⼀般情况下,由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或 阅读详情

0df6a8a10e2e6835debe384b940c1de5.png

前言

欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:

第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。

第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。

第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,视频分类。

第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频分析,图像编辑。

第5层:掌握算法落地的关键技术,包括模型优化,模型部署。

d2acd99f183b80334639639505703c36.jpeg

其中部分课程的主体内容已经更新完毕,比如数据使用/模型分析/图像分类/图像分割/目标检测/图像生成/图像翻译/图像增强/视频分类/模型部署/模型优化/人脸图像检测与识别/人脸属性编辑;部分课程正在重制更新中,比如人脸三维重建;部分课程正在计划上线中,比如通用图像编辑/视觉Transformer/强化学习/半监督与无监督,请大家及时关注!

最新的完整介绍如下:【总结】最系统化的CV内容,有三AI所有免费与付费的计算机视觉课程汇总(2022年12月)

c408e29f754deae96124f521b7b766ea.png

2023年开始,每周都会有一门课程在当周有9折特惠,本周特惠课程是《深度学习之模型优化:理论实践篇》,本课程的目标是帮助大家掌握深度学习模型优化的核心内容。

为什么要学习这门课

好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键,模型压缩与优化是专门针对模型进行精简的技术,这是模型能够在各类嵌入式平台使用的关键技术,包括紧凑模型设计,模型剪枝,模型量化,模型蒸馏,自动化模型设计等内容。

5f40d015c4ccfd547bbb228f3894e025.jpeg

当前许多成熟的框架都支持进行模型的压缩优化,比如Tensorflow、TensorRT,内置了经典的模型压缩优化方法。

23b4d616e493f44b0df708a9a44dcff7.png

为了帮助大家系统性地学习深度学习模型优化的相关内容,我们推出了《深度学习之模型优化》系列课程,目前已完成约7个小时的理论课+4个小时的实践课(还在更新中)。

子欲学深度学习,模型优化是必学进阶内容!我们这一门课期望帮大家彻底搞定模型优化的学习问题!课程的第一阶段内容已经更新完毕,本课程结合实际项目,将所学理论应用于实践。

48650bcf88983c441025d62ad6f232fc.png

深度学习之模型优化课程

课程内容介绍

本课程内容包括模型优化压缩的经典算法理论与实践,目前一期已经基本更新完毕,超过10个小时,涵盖了深度学习模型压缩的核心领域,包括模型剪枝、模型量化、知识蒸馏等,既有足够的宽度,也具备有足够的深度。我们会非常详细地讲解算法中的细节,帮助彻底消化算法原理;

下图是已有课程的大纲脑图:

dff9d1225e9a826b15fb8df2e437e682.png

下面简单了解一下各部分的内容:

(1) 模型剪枝基础,包括模型剪枝的基本概念,模型的冗余性分析,约25分钟【本部分内容可以免费收听】。

f8e5c955057080ec0e7ac854656c2283.png

a875e8ecf445b88be3d3ab36b7d9e7a1.png

(2) 非结构化模型剪枝(基础篇),包括基于幅度的连接权重剪枝框架及其改进,约25分钟【本部分内容可以免费收听】。

7f3536de0e021028f7c32a4eec63b0de.png

4034da5888de7ec501e145776ad7a321.png

(3) 结构化模型剪枝,包括幅度篇、稀疏权重篇、稀疏因子篇、重建篇,详细介绍了当前各种主流的结构化模型剪枝技术,一共约110分钟。

017205e9689d6d21b166eac8a8d297c1.png

7002ae1a2669706d795c184f2639665d.png

1eeafe3acd688f420a08cabd3431ea34.png

fcc6d78627eaf47dc8b82413ef5d13b7.png

630f6a23a02599b670a743ec641aed28.png

(4) 模型量化基础,介绍模型量化方法的分类,模型量化的优势,约20分钟,本部分内容可以免费收听。

c9c74f5564349d75767aa6ae4f51b3d9.png

fe275542fb93dec22c7edf9749562c06.png

(5) 2值模型量化,包括基础篇、重建篇,详细介绍了当前主流的2值网络,约50分钟。

d765fcecadc6c38b9f3c34e693eddbc7.png

cb5de70a6b6b3d869f200c08fd45b9f1.png

68c1ebe9690099d9d17f826d15e6f62e.png

(6) 8bit模型量化,介绍的内容包括基于KL散度的对称量化、非对称的训练时与训练后量化框架,时长约45分钟。

a2813911202b8022e8de708824792b24.png

f7a746877b42995c9e52860e2c5cbf92.png

(7) 混合模型量化,介绍了基于不同位宽的激活值、权重值、梯度值的量化训练框架,约30分钟。

ffee7ae06d5238a49dcce1ad040accfa.png

c443ffbfd982d0e7a106a35eb46dbbe1.png

(8) 知识蒸馏基础,包括知识蒸馏的概念与迁移学习基础,约25分钟【本部分内容可以免费收听】。

6f2f03ff083714ccb120607e1204383a.png

ea4291222e656379675bd151632b5f32.png

(9) 知识蒸馏框架,包括基于特征匹配,基于优化目标驱动,基于自蒸馏的框架,时长约90分钟。

e666f95d5fdd5c29695f9cd42e401dce.png

bc100751176c84c391d3643068ca315e.png

61cbad7d543f4357887e2d69f1016566.png

(10) Distiller模型压缩框架,介绍Distiller的整体架构,模型剪枝与模型量化的功能模块,约40分钟【本部分内容可以免费收听】。

1209aec231162dd7700e3bfadce3c7a0.png

913fc22a8e900a2914be3fc406665687.png

44df33059d1b04613195326b978b7366.png

e288ef785610625b55330bfe6c85175b.png

(11) 神经网络搜索,包括神经网络搜索基础,基于栅格搜索的方法,基于强化学习的方法,基于进化算法的方法,时长约110分钟。

f78ef4cebffac437927bd603ea1e5e0f.png

396f09fd8872d7c6f173aef27dd839a7.png

35eecc77b4ac3ed3bc4e4d6d9ee51ca5.png

(12) 结构化模型剪枝实践,包括基准模型训练以及基于稀疏约束与缩放因子的结构化剪枝实践,约60分钟。

b48347411e835d6caa0c092c589cf923.png

2447473c8f7cdb131513e2b4bfaa4ccd.png

(13) 8bit模型量化实践,包括量化校准表生成与模型量化,ncnn框架介绍,模型转化与推理,约50分钟。

4d82f2b0f34d962e138e871f567dfe32.png

925c622ade3c79e78c30a73700d4ff0f.png

(14) 模型蒸馏实践,包括模型训练与蒸馏,一共约30分钟。

2471e518eab2414fbc834e638cae7feb.png

520ad17b519212284afe6ca78aacfe63.png

(15) 早期直播回放,包括模型压缩基础,模型精简设计实践,模型剪枝实践,模型量化实践,模型蒸馏实践,工程技巧,AutoML的应用,约60分钟。

以上就是已有的课程内容,共计超过10个小时,后续还会持续丰富完善内容,请大家保持关注。

本课程讲师为言有三,讲师简介如下:

ed371142af48d63da8cca64f0ede13fd.png

龙鹏,笔名言有三,技术社区《有三AI》创始人。先后就读于华中科技大学(2008-2012),中国科学院半导体研究所神经网络实验室(2012-2015),先后就职于奇虎360人工智能研究院(2015.7-2017.5),陌陌科技深度学习实验室(2017.5-2019.3),深度学习算法专家,阿里云MVP,华为云MVP。

拥有超过7年的计算机视觉从业经验,拥有丰富的传统图像算法和深度学习计算机视觉项目经验,著有书籍《深度学习之图像识别:核心技术与案例实战》(机械工业出版社2019.4),《深度学习之模型设计:核心算法与案例实践》(电子工业出版社2020.6),《深度学习之人脸图像处理:核心算法与案例实战》(机械工业出版社2020.7),《深度学习之摄影图像处理:核心算法与案例精粹》(人民邮电出版社2021.4),《生成对抗网络GAN:原理与实践》(机械工业出版社2022.10),拥有10余项发明技术专利与学术论文。

擅长领域:Caffe,Tensorflow,Pytorch等主流深度学习平台。神经网络与深度学习理论,深度学习模型设计与优化,计算机视觉的基础领域,AI美学,2D与3D人脸算法,生成对抗网络GAN等领域。

本课程是模型使用课程的其中一部分,属于有三AI整个课程体系中的高阶课程,需要大家已经能够熟练使用深度学习框架与基础模型,建议与另外3门课程配合享用,包括《深度学习之模型分析》,《深度学习之模型设计》,《深度学习之模型部署》,详细介绍请查看:

【视频课】AI必学,超3小时,3大模块,掌握模型分析核心技术!

【视频课】AI必学,超20小时,4大模块,循序渐进地搞懂CNN模型设计与简单部署!

【视频课】快速掌握6大模型部署框架(Pytorch+NCNN+MNN+Tengine+TensorRT+微信小程序)!

f5d20ba2b458a1ece280e1db21be55aa.png

82948cdbe7e121add3348b8f2e24e0c1.png

51074ecade0733c60d17ebe0aff51c60.png

如何获取课程

订阅本课程的方法有两个:

其一:订阅《深度学习之模型优化》专栏,随着内容增加价格会不断增加,感兴趣的请提前订阅,链接如下:

6d4c32ecfd217d5a23559d10abc8ff49.jpeg

已有的课程目录如下:

74880e1f7ff68078eefe431c708f6e63.jpeg

其二:参加有三AI-CV秋季划-模型优化组,可以获得4套模型设计与优化部署相关的课程,包括《深度学习之模型设计-理论实践篇》,《深度学习之模型分析-理论实践篇》,《深度学习之模型优化-理论实践篇》,《深度学习之模型部署-移动端与服务端》,《深度学习之数据使用-理论实践篇》,了解课程目录可以扫码:

7081a0d8593ef41b762ef27947d29ec2.png

课程设有交流群,大家在订阅课程后可以添加小助手入群,同时欢迎在深度学习领域有沉淀积累的同学加入有三AI生态,让更多人受益!

5f411336efcd39b8d08488207e231be5.jpeg

7d01f4b4b6e1fedb4575972edf1793ef.png

dbadd9f5078b7dbaa2594332ae3ae562.png

往期相关

2、探秘储备池计算:原理、应用与前沿趋势 储备池计算(Reservoir Computing)作为一种新兴的计算方法,起源于计算神经科学和机器学习领域,现已广泛应用于非线性动力系统理论、物理学、材料科学、生物学和机器人学等多个领域。其核心优势在于概念简洁性,通过利用高维动态系统的非线性响应,将学习过程集中在读出层,避免了传统循环神经网络(RNN)训练的复杂性。储备池计算的发展方向主要包括拓展到非线性动态系统和利用物理动态系统作为计算资源(PRC),后者有望突破冯·诺依曼瓶颈,实现边缘计算。理论方面,储备池计算与人类大脑的信息处理方式密切相关,并推动 阅读详情

相关推荐

AAAI 2025杰出论文解读:神经符号推理与生物多样性计算的突破性进展

本文深度解读了AAAI 2025两篇杰出论文的突破性进展。南京大学周志华团队提出“溯因反射”框架,高效解决神经符号推理中的“不一致性”核心难题,为构建可靠、可解释的AI系统提供了新路径。斯坦福大学等机构的DiVShift研究,则系统分析了公民科学数据中的复杂分布偏移,为利用海量数据精准监测生物多样性及应对AI数据偏差提供了关键方法论。

weixin_29085865的博客 502

【深度学习之模型优化】模型剪枝、模型量化、知识蒸馏概述

​ 模型部署优化这个方向其实比较宽泛。从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同。但本质的工作无疑是通过减小模型大小,提高推理速度等,使得模型能够成功部署在各个硬件之中去并且实时有效的运作。 ​

向往有那么一天梦幻的步态识别落地,开花❀! 2万+

微信小程序测试号开发后上传按钮灰色?三步快速切换正式AppID

本文详细解析了微信小程序测试号开发后上传按钮灰色的原因,并提供了三步快速切换正式AppID的解决方案。通过注册正式小程序账号、修改项目配置和重新编译上传,开发者可以轻松解决上传按钮不可用的问题,确保小程序顺利上线。

weixin_29291185的博客 1578

深度学习之 TensorFlow模型优化和调优实例

越来越多的人工智能解决方案将深度学习作为其基本技术,然而构建深度学习模型并不是一件容易的事,为了获得满意的准确性和效率,通常需要数周的时间优化模型。 模型的优化通常包括网络结构本身和训练参数两个层级,网络结构主要包括层数、节点、权重以及激活函数等,训练参数包括epoch、batch size、learning rate, cost functions, normalization和regularization以及optimization。.....................

shichaog的专栏 1986

实战经验:Sensor Bringup中那些坑我都帮你踩过了(避坑指南)

本文是一份详尽的Sensor Bringup实战避坑指南,总结了从I2C通信、MCLK时钟、电源管理到图像异常等关键环节的常见问题与排查方法。文章提供了系统化的调试工作流,强调先硬件后软件的排查原则,旨在帮助硬件工程师快速定位并解决Sensor启动过程中的难题,提升开发效率。

weixin_29212429的博客 577

工业组态软件Intouch(单机版)入门{第二篇}

第5步:*都装好之后,需要进行测试授权是否生效,测试1:能否正常运行项目和编辑项目(能否编辑项目,取决于你的授权是否包含开发功能,如果只是单一的runtime授权,则只能运行项目,不能编辑项目)。在线第3步:点击第一个框右边的按钮,弹出文件浏览窗口,选中你的XMl授权文件,打开,然后你的授权出现在下方的列表中,勾选你的授权,然后点击Activate,等待几秒,授权就会出现在管理器页面的列表中,并且Status会显示Activated。第1步:软件安装好之后,先要配置好授权服务器。等待几秒,激活完成。

weixin_41571357的博客 1万+

【阿里云课程】分组网络原理,结构发展及设计改进

大家好,继续更新有三AI与阿里天池联合推出的深度学习系列课程,本次更新内容为第10课中的一节,介绍如下:分组网络原理与结构演变本次课程是阿里天池联合有三AI推出的深度学习系列课程第10期,...

hacker_long的专栏 626

YOLOv8改进 | 主干网络 | 增加网络结构增强小目标检测能力【独家创新——附结构图】

YOLOv8改进,小目标检测,yolov8

kay_545 6023

【本周特惠课程】深度学习模型优化(剪枝量化蒸馏)核心技术理论与实战!...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。第2层:掌握CV算法最底层的能力,包括模型设计基础,图像分类,模型分析。第3层:掌握CV算法最核心的方向,包括图像分割,目标检测,图像生成,视频分类。第4层:掌握CV算法最核心的应用,包括人脸图像,图像质量,视频...

hacker_long的专栏 604

【异常】Cursor编辑器 “Taking longer than expected...“ 报错全链路排查与解决方案

该提示并非传统的程序崩溃或语法报错,本质是Cursor编辑器的超时预警机制——当核心任务(云端AI推理请求、本地项目索引等)的执行耗时超出系统预设阈值时,触发的用户告知类提示,核心诱因是任务执行全链路出现阻塞或性能瓶颈。以下方案按排查优先级从高到低排序,覆盖从快速急救到根因根治的全流程,可按步骤逐步验证解决。针对大仓库、多依赖项目的索引超时问题,核心是通过规则过滤无效文件,从根源降低索引负载。

奶爸的编程之路,也就一周冷个三天 3111

3D点云-CVPR 2020-PF-Net: Point Fractal Network for 3D Point Cloud Completion

是一种专门为三维点云补全设计的深度学习模型。点云补全实际上和图片补全是一个逻辑,都是采用GAN模型的思想来进行补全,在图片补全中,将部分像素点删除并且标记,然后卷积特征提取预测、判别器判别,来训练模型,生成的像素点与原来像素点比较完成模型的训练。而PF-Net就是采用GAN的思想在3D点云上的应用。

404 Not Found 2375

【视频课】深度掌握模型剪枝+模型量化+知识蒸馏3大核心模型压缩技术理论!...

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。...

hacker_long的专栏 1217

SAP 实例解析分期付款配置及应用

SAP系统的付款条件支持分期付款功能,其奥妙之处就在于需要定义一个母条款和一个子条款,其中,母条款需要标识“分期付款”。 首先,定义分期付款的母条款OBB8:             然后,定义子条款(即分期付款的具体方式)OBB9:   由上图可以看出,分期付款的配置还是很强大的,针对每次付款,都可以进行第二层次付款条件的设置。   然后,我们做一笔发票,

heng0757的专栏 1万+

【视频课】3层境界,如何掌握深度学习模型设计、优化、部署

好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中...

hacker_long的专栏 775

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

【直播课】TensorRT工程落地实践:快速掌握模型优化部署

前言TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶...

hacker_long的专栏 570

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

深度学习模型优化方法总结

深度学习模型优化方法有: (1)模型压缩:模型权重量化、模型权重稀疏、模型通道剪枝 (2)优化推理引擎:TVM、tensorRT、OpenVINO 模型压缩 (1)quantization:模型权重量化 (2)sparsification:模型权重稀疏 (3)channel pruning:模型通道剪枝https://www.jiqizhixin.com/articles/2019-08-07-3https://zhuanlan.zhihu.com/p/77275130https://blog.csdn

清风专栏 2975

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

如何优化深度学习模型

https://www.toutiao.com/a6684869494898164232/ 2019-04-28 17:07:47 大数据文摘出品 来源:nanonets 编译:刘佳玮、张秋玥、毅航、夏雅薇 看过了各式各样的教程之后,你现在已经了解了神经网络的工作原理,并且也搭建了猫狗识别器。你尝试做了了一个不错的字符级RNN。你离建立终端只差一个pip...

喜欢打酱油的老鸟 5982

【视频课】先搞懂你用的模型,深度学习模型分析课程来了!

前言欢迎大家关注有三AI的视频课程系列,我们的视频课程系列共分为5层境界,内容和学习路线图如下:第1层:掌握学习算法必要的预备知识,包括Python编程,深度学习基础,数据使用,框架使用。...

hacker_long的专栏 2381

【总结】玩转深度学习模型分析+设计+优化+部署4重境界,如何规划学习!

好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键,而模型的部署则是项目的最后一环。为了让大家能够系统性掌握相关内容,为以后做研究以及就业打下基础,我们平台输出了海量与模型有关的内容,包括公众号文章,书籍,以及4门对应的视...

hacker_long的专栏 1000

RNNoise-SpeexDSP-WebRTC使用说明

本文介绍RNNoise、SpeexDSP与WebRTC音频处理库的下载、调用及参数配置方法,适用于Android语音工程集成。RNNoise基于深度学习,适合非稳态噪声降噪,需48kHz输入;SpeexDSP支持多采样率与回声消除,适用于全双工场景;WebRTC提供轻量级窄带处理。三者可串联使用:麦克风信号先经前级降噪(RNNoise或SpeexDSP),再进入WebRTC媒体引擎进行编码。重点说明各库的典型应用场景、接口调用方式、关键参数调节策略及采样率转换注意事项,帮助开发者高效集成与优化语音处理链路。

知识共享,你我皆是知识的搬运工 239

基于深度学习的商品评论情感分析系统-毕业设计

面向商品评论的中文情感分析系统,支持单条预测、批量分析、情感分布与关键词、报告导出。TextCNN、BiLSTM、Transformer 在同一词表、同一数据切分、同一种子与超参下公平对比,测试集 F1 分别为 0.9101、0.9089、0.9075。结论是这一规模下模型复杂度未带来收益,但误差结构不同。附技术栈、截图、文档预览与演示视频。

csbysj2020 158

Transformer 为什么能取代 RNN?从自注意力讲起

2017 年谷歌在《Attention Is All You Need》中提出 Transformer,核心是。它如今是 GPT、BERT、ChatGPT 的共同底座。

anew___的博客 979

【原创深度学习项目】基于深度学习的建筑工地防护装备检测系统|安全帽与反光衣检测系统(RT-DETR-L 模型)

本文设计并实现了一套基于RT-DETR-L的建筑工地防护装备检测系统,采用Django+Vue前后端架构,实现对安全帽、反光背心等7类装备及“无PPE”“未戴安全帽”等缺失状态的精准识别。系统支持图片、视频、摄像头实时检测,具备参数可调、数据可视化与统计分析功能,有效解决小目标漏检、误检及管理难问题,助力智慧工地安全管理落地。文末可获取源码。

qq_1445749146的博客 232

图解循环神经网络(RNN)

RNN(循环神经网络)就是“带记忆的网络”:让网络拥有一块“记忆”,在处理当前数据时,能同时参考之前看过的内容;它不一次性看完全部输入,而是像人读书一样,一个字一个字地读,每读一个字就更新一次脑子里的记忆,然后用这份记忆去理解当前这个字。但便签一直在被改写,新信息不断挤占旧信息,传到第 40 步时,“巴黎”的痕迹已经淡得几乎没了。读到“贵”的时候,网络并没有重新去查“好看”这个词——但“好看”的影响已经融在了便签里(那个 1.5)。这三个困难的共同点:答案不在当前这一个字里,而在“前面那串东西”里。

技术管理两手抓,两手都要硬. 427

神经网络入门指南:从 CNN、RNN 到 Attention

神经网络的学习,本质是“预测—比较—纠错”的循环;CNN 通过局部连接与权重共享理解图像;RNN 通过隐藏状态传递上下文;LSTM 和 GRU 用门控机制管理记忆;Encoder–Decoder 把理解与生成拆成两个阶段;Attention 则让模型在每一步都能主动寻找最相关的信息。到这里,我们已经走完了从普通神经网络到 Attention 的完整路线。下一篇将正式进入 Transformer,看看它如何摆脱 RNN 的顺序计算,又如何让每个 Token 直接找到与自己相关的信息。

爱敲代码的小黄 396

AI 学习第 15 课:变长序列不 pack 直接喂 RNN,隐状态全被 0 污染

NLP 的 batch 里句子长短不一,短句垫 0 补齐后直接喂 RNN,看似能跑,实际上每个 0 垫步都在更新隐状态——短序列的最后一步输出根本不是它真实句子的结果。这一课用 torch 2.15(

aifannihao的博客 160
上一篇: 【总结】初学深度学习与CV,资料找的一塌糊涂,这个超过2000页PPT,有这个80小时讲解的CV核心内容就够了...
下一篇: 【总结】最系统化的CV内容,有三AI所有免费与付费的计算机视觉课程汇总(2023年7月)...
言有三
言有三 领域专家: 人工智能技术领域 领域专家: 人工智能技术领域
博客等级 码龄15年 3636粉丝 976原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值