动手学深度学习-李沐（8）

最新推荐文章于 2025-02-16 10:25:39 发布

原创最新推荐文章于 2025-02-16 10:25:39 发布 · 463 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #机器学习

丢弃法是一种有效的深度学习正则化策略，旨在提高模型的泛化能力。通过在训练过程中随机关闭一部分神经元，减少层间依赖，防止过拟合。此方法常应用于多层感知机的隐藏层，丢弃概率作为超参数控制模型复杂度。丢弃法的使用可以保持期望输出不变，同时增加模型对输入扰动的鲁棒性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、dropout丢弃法

1、动机

一个好的模型需要对输入数据的扰动鲁棒

丢弃法：在层之间加入噪音——正则

2、方法

给定一个概率，一定概率变成0，一定概率使得元素变大

期望不发生变化

3、使用

4、总结

丢弃法将一些输出项随机置0来控制模型复杂度

常作用在多层感知机的隐藏层输出上

丢弃概率来控制模型复杂度的超参数

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Everyyang

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【课程笔记】动手学深度学习(李沐)

你好tesseract的专栏

03-02

2284

网上找了下，笔记不多http://blog.youkuaiyun.com/quincuntial/article/details/78014194http://www.cnblogs.com/yifdu25/p/8358964.htmlhttp://blog.youkuaiyun.com/catalyst_zx/article/details/53204234 http://blog.youkuaiyun.com/zswang9ht...

李沐在上海交通大学的演讲回顾：大语言模型的现状与未来

weixin_41496173的博客

09-03

1296

近日，知名人工智能专家李沐回到了母校上海交通大学，并进行了题为“大语言模型的现状和未来”的演讲。这次演讲不仅回顾了大语言模型的发展现状，还分享了李沐在创业过程中积累的经验与见解。本文将对李沐的演讲内容进行全面梳理，探讨大语言模型在算力、数据、算法以及多模态领域的进展与挑战，并分享他对AI未来发展的独到见解。

参与评论您还未登录，请先登录后发表或查看评论

李沐

weixin_44412864的博客

05-22

809

每天学习一位大佬李沐，本科上交，博士CMU，知乎网友评论，CMU能排前十亚马逊AI首席科学家也是深度学习很好的老师知乎：https://www.zhihu.com/people/mli65 哔哩哔哩：https://space.bilibili.com/1567748478/ GAN的大家族 WGAN 生成内容和真实内容有多相似 DCGAN CNN结构倒过来，先确定轮廓， CYCLEGAN 简笔画转为实物照片 STYLEGAN 融入不同的风格产生新图片 ...

关于李沐，关于学习

q789151的博客

03-25

2309

1 一年后，李沐再次踏上了求学之路。“在百度的经历让我学到了很多，也更清楚地发现了自己的短板。但是当时国内做系统方向的人比较少，所以我还是选择了去美国继续攻读博士。” “不过，这只是一个原因。” 另一个原因是：李沐在香港学习期间，遇到了现在的妻子，她被 MIT 录取，为了不忍受异地恋的辛苦，李沐毅然决然选择同去美国。 “其实她才是真学霸。”李沐笑道。那么问题来了，既然要去美国，选择哪所学校呢？李沐当时很坚定的选择了两所学校：一个是妻子所在的 MIT，另一所是离 MIT 最近的 CMU（卡内基梅隆大

跟李沐老师学深度学习（数据操作与数据预处理）

weixin_63566653的博客

02-16

228

目录一。数据操作二。数据预处理

李沐讲座：大语言模型的实践经验和未来预测 | 上海交大

kebijuelun的博客

09-01

1536

本文记录了李沐关于语言模型与职业生涯分享的精彩讲座，涵盖了大语言模型的核心要素、工程实践中的挑战，以及演讲者个人职业生涯中的心得体会。

【动手学深度学习v2】深度学习-李沐老师课程中代码详解-softmax

08-09

【动手学深度学习v2】深度学习——李沐老师课程中代码详解——softmax

《动手学深度学习2.0-李沐Pytorch版》

最新发布

07-24

内容概要：《动手学深度学习2.0-李沐Pytorch版》是一本结合理论与实践的深度学习教材，旨在帮助读者掌握深度学习的核心概念和实践技能。全书分为三个主要部分：基础知识和预备知识、现代深度学习技术和应用、以及可...

【动手学深度学习v2】深度学习-李沐老师课程中代码详解-drop out

08-09

【动手学深度学习v2】深度学习——李沐老师课程中代码详解——drop out

21年更新-李沐《动手学深度学习第二版》:讲义+数据+代码等

04-15

gitignore Dockerfile INFO.md Jenkinsfile LICENSE Makefile README.md setup.py STY LE_GUIDE.md TERMINOLOGY.md build chapter _appendix chapter_computational-performa nce chapter_computer-vision ...img

【动手学深度学习v2】深度学习-李沐老师课程中代码详解-权重衰退

08-09

【动手学深度学习v2】深度学习——李沐老师课程中代码详解——权重衰退

李沐：博士这五年

给我一点温度

08-13

5212

作者：李沐，2008年毕业于上海交通大学计算机系,大学期间，曾在微软亚洲研究院担任实习生，大学毕业后，开始担任香港科技大学研究助理。 2011年，李沐加入百度，成为百度高级研发与开发人员，主要研究任务是“如何高效的利用数百台机器快速的在数十T的数据上训练出模型。” 2012年，李沐赴美国卡耐基梅隆大学攻读博士学位，期间在谷歌实习，主要研究内部代码和文档。 2017年博士毕业后，...

李沐AI人工智能00

2301_80142503的博客

01-18

675

课程论坛讨论:https://discuss.d2l.ai/c/16·Pytorch论坛:https://discuss.pytorch.org/课程主页:https://courses.d2l.ai/zh-v2。教材:https://zh-v2.d2l.ai/我的torch版本：pipshowtorch。

李沐深度学习教程笔记 (1)

GZHermit的博客

09-09

7270

框架：Mxnet/Gluon 教程的网页资料：http://zh.gluon.ai 教程的GitHub地址：https://github.com/mli/cvpr17 直播：在斗鱼平台搜索“将门风投”

李沐亚马逊资深首席科学家 - 动手学深度学习v2 -1介绍篇

AI架构师易筋

08-23

5800

讲师介绍李沐是亚马逊资深首席科学家、《动手学深度学习》和深度学习框架 MXNet 的主要作者。他本科毕业于上海交通大学计算机系 ACM 班，2012 年前往 CMU 读博，师从机器学习大师 Alex Smola 和分布式系统教授 Dave Andersen。读博期间，他和陈天奇等人开发出了著名的深度学习框架 MXNet 并在之后的几年专注于该框架的研究与开发。此外，他还和 Aston Zhang 等人合著了大受欢迎的深度学习入门教材——《动手学深度学习》。截至目前，已有 140 多所院校使用《动手学深度

李沐：创业一年，人间三年

阿木寺的博客

08-15

152

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心| 作者：李沐给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。...

硅谷华人技术大神李沐：创业一年，人间三年

边缘计算社区

08-18

403

*李沐，江湖人称“沐神”，又被称为深度学习界的“米其林”，是硅谷华人技术大神，深度学习框架MXNet的创始人之一。他2008年毕业于上海交通大学计算机系，大学期间曾在微软亚洲研究院担任实习生。2011年至2012年在百度担任高级研究员，后进入卡耐基梅隆大学读博，师从Alex Smola和Dave Andersen。2017年博士毕业后，加入亚马逊成为资深首席科学家。最后，李沐离开亚马逊，与导师Al...

AI大神李沐B站走红！连博导们都在追更，还亲自带你逐段读懂论文，网友：带B站研究生吧...