动手学深度学习-李沐（8）

最新推荐文章于 2025-02-16 10:25:39 发布
原创 最新推荐文章于 2025-02-16 10:25:39 发布 · 463 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #机器学习

丢弃法是一种有效的深度学习正则化策略，旨在提高模型的泛化能力。通过在训练过程中随机关闭一部分神经元，减少层间依赖，防止过拟合。此方法常应用于多层感知机的隐藏层，丢弃概率作为超参数控制模型复杂度。丢弃法的使用可以保持期望输出不变，同时增加模型对输入扰动的鲁棒性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、dropout丢弃法

1、动机

一个好的模型需要对输入数据的扰动鲁棒

丢弃法：在层之间加入噪音——正则

2、方法

给定一个概率，一定概率变成0，一定概率使得元素变大

期望不发生变化

 3、使用

 4、总结

 丢弃法将一些输出项随机置0来控制模型复杂度

常作用在多层感知机的隐藏层输出上

丢弃概率来控制模型复杂度的超参数

Everyyang
关注
【课程笔记】动手学深度学习(李沐)
你好tesseract的专栏
03-02 2284
网上找了下，笔记不多http://blog.youkuaiyun.com/quincuntial/article/details/78014194http://www.cnblogs.com/yifdu25/p/8358964.htmlhttp://blog.youkuaiyun.com/catalyst_zx/article/details/53204234 http://blog.youkuaiyun.com/zswang9ht...
李沐在上海交通大学的演讲回顾：大语言模型的现状与未来
weixin_41496173的博客
09-03 1297
近日，知名人工智能专家李沐回到了母校上海交通大学，并进行了题为“大语言模型的现状和未来”的演讲。这次演讲不仅回顾了大语言模型的发展现状，还分享了李沐在创业过程中积累的经验与见解。本文将对李沐的演讲内容进行全面梳理，探讨大语言模型在算力、数据、算法以及多模态领域的进展与挑战，并分享他对AI未来发展的独到见解。
李沐
weixin_44412864的博客
05-22 809
每天学习一位大佬 李沐，本科上交，博士CMU，知乎网友评论，CMU能排前十 亚马逊AI首席科学家 也是深度学习很好的老师 知乎：https://www.zhihu.com/people/mli65 哔哩哔哩：https://space.bilibili.com/1567748478/ GAN的大家族 WGAN 生成内容和真实内容有多相似 DCGAN CNN结构倒过来，先确定轮廓， CYCLEGAN 简笔画转为实物照片 STYLEGAN 融入不同的风格产生新图片 ...
关于李沐，关于学习
q789151的博客
03-25 2310
1 一年后，李沐再次踏上了求学之路。“在百度的经历让我学到了很多，也更清楚地发现了自己的短板。但是当时国内做系统方向的人比较少，所以我还是选择了去美国继续攻读博士。” “不过，这只是一个原因。” 另一个原因是：李沐在香港学习期间，遇到了现在的妻子，她被 MIT 录取，为了不忍受异地恋的辛苦，李沐毅然决然选择同去美国。 “其实她才是真学霸。”李沐笑道。 那么问题来了，既然要去美国，选择哪所学校呢？李沐当时很坚定的选择了两所学校：一个是妻子所在的 MIT，另一所是离 MIT 最近的 CMU（卡内基梅隆大
跟李沐老师学深度学习（数据操作与数据预处理）
weixin_63566653的博客
02-16 229
目录一。数据操作二。数据预处理
李沐讲座：大语言模型的实践经验和未来预测 | 上海交大
kebijuelun的博客
09-01 1536
本文记录了李沐关于语言模型与职业生涯分享的精彩讲座，涵盖了大语言模型的核心要素、工程实践中的挑战，以及演讲者个人职业生涯中的心得体会。
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-softmax
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——softmax
《动手学深度学习2.0-李沐Pytorch版》
最新发布
07-24
内容概要：《动手学深度学习2.0-李沐Pytorch版》是一本结合理论与实践的深度学习教材，旨在帮助读者掌握深度学习的核心概念和实践技能。全书分为三个主要部分：基础知识和预备知识、现代深度学习技术和应用、以及可...
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-drop out
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——drop out
21年更新-李沐《动手学深度学习第二版》:讲义+数据+代码等
04-15
gitignore Dockerfile INFO.md Jenkinsfile LICENSE Makefile README.md setup.py STY LE_GUIDE.md TERMINOLOGY.md build chapter _appendix chapter_computational-performa nce chapter_computer-vision ...img
【动手学深度学习v2】深度学习-李沐老师课程中代码详解-权重衰退
08-09
【动手学深度学习v2】深度学习——李沐老师课程中代码详解——权重衰退
李沐：博士这五年
给我一点温度
08-13 5213
作者： 李沐，2008年毕业于上海交通大学计算机系,大学期间，曾在微软亚洲研究院担任实习生，大学毕业后，开始担任香港科技大学研究助理。 2011年，李沐加入百度，成为百度高级研发与开发人员，主要研究任务是“如何高效的利用数百台机器快速的在数十T的数据上训练出模型。” 2012年，李沐赴美国卡耐基梅隆大学攻读博士学位，期间在谷歌实习，主要研究内部代码和文档。 2017年博士毕业后，...
李沐AI人工智能00
2301_80142503的博客
01-18 681
课程论坛讨论:https://discuss.d2l.ai/c/16·Pytorch论坛:https://discuss.pytorch.org/课程主页:https://courses.d2l.ai/zh-v2。教材:https://zh-v2.d2l.ai/我的torch版本：pipshowtorch。
李沐深度学习教程笔记 (1)
GZHermit的博客
09-09 7270
框架：Mxnet/Gluon 教程的网页资料：http://zh.gluon.ai 教程的GitHub地址：https://github.com/mli/cvpr17 直播：在斗鱼平台搜索“将门风投”
李沐亚马逊资深首席科学家 - 动手学深度学习v2 -1介绍篇
AI架构师易筋
08-23 5800
讲师介绍 李沐是亚马逊资深首席科学家、《动手学深度学习》和深度学习框架 MXNet 的主要作者。他本科毕业于上海交通大学计算机系 ACM 班，2012 年前往 CMU 读博，师从机器学习大师 Alex Smola 和分布式系统教授 Dave Andersen。读博期间，他和陈天奇等人开发出了著名的深度学习框架 MXNet 并在之后的几年专注于该框架的研究与开发。此外，他还和 Aston Zhang 等人合著了大受欢迎的深度学习入门教材——《动手学深度学习》。截至目前，已有 140 多所院校使用《动手学深度
李沐：创业一年，人间三年
阿木寺的博客
08-15 152
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：机器之心| 作者：李沐给小伙伴汇报一下 LLM 创业第一年的进展、纠结和反思。...
硅谷华人技术大神李沐：创业一年，人间三年
边缘计算社区
08-18 403
*李沐，江湖人称“沐神”，又被称为深度学习界的“米其林”，是硅谷华人技术大神，深度学习框架MXNet的创始人之一。他2008年毕业于上海交通大学计算机系，大学期间曾在微软亚洲研究院担任实习生。2011年至2012年在百度担任高级研究员，后进入卡耐基梅隆大学读博，师从Alex Smola和Dave Andersen。2017年博士毕业后，加入亚马逊成为资深首席科学家。最后，李沐离开亚马逊，与导师Al...
AI大神李沐B站走红！连博导们都在追更，还亲自带你逐段读懂论文，网友：带B站研究生吧...
热门推荐
量子位
10-29 1万+
明敏 梦晨 发自 凹非寺量子位 报道 | 公众号 QbitAI什么样的B站Up主，让AI专业的导师们纷纷推荐给学生看，甚至导师自己也追更？又是什么样的Up主，让网友直呼“简直是做慈善”。没...
动手学深度学习pytorch李沐
02-20
### 动手学深度学习 PyTorch 李沐 教程 资源 #### 课程主页与教材链接 对于希望深入研究由李沐编写的《动手学深度学习》PyTorch版本的学习者来说，官方提供了详细的教程和支持材料。课程主页位于[这里](https://courses.d2l.ai/zh-v2)，而完整的在线书籍可以在[此网址](https://zh-v2.d2l.ai)找到[^1]。 #### 数据处理基础 为了更好地理解和应用书中所讲授的概念和技术，在开始之前了解如何有效地管理数据是非常重要的。该书强调了所有机器学习方法的核心在于从数据中抽取有用的信息；因此，初学者应该熟悉有关于数据的操作技巧，比如存储、操作以及预处理等[^3]。 #### 社区支持平台 遇到疑问时可以寻求帮助的地方也非常重要。针对这本书籍及其相关内容的支持和交流可以通过访问专门设立的课程论坛来实现，地址为[讨论专区](https://discuss.d2l.ai/c/16)[^2]。此外，如果具体涉及到PyTorch框架方面的问题，则可以直接前往其官方社区获取更多指导——[PyTorch 论坛](https://discuss.pytorch.org/)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值