为什么训大模型都不用dropout

最新推荐文章于 2025-09-26 18:12:25 发布
原创 最新推荐文章于 2025-09-26 18:12:25 发布 · 587 阅读 · 27 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#fastapi #人工智能 #前端 #机器人 #服务器

昨天在一个讨论群里有朋友提到了这个问题。

这个问题很有意思，训大模型不用dropout属于现在大家的默契了。

我总结三点

1.效果不行

这块是大家实践出来的，dropout在设计之初就有一个致命问题。训练和推理的行为不一致，为了让他尽量一致，选择了一个scale的方案，scale的方案可以使得推理时tensor的均值和训练一致。但这也仅仅使得均值一致，从一个分布上来讲，连方差都不一样。更不要提其他的细致的分布刻画了。

在小模型小数据时代，神经网络还在闹着玩，噪声，过拟合，标签质量，相爱相杀，dropout在一些场景有用武之地。

其实在7、8年前我上学的时候，打比赛时候就发现dropout的一些缺点。比如回归等数值和分布敏感的问题上，有两个经典的trick，一个是标签转换(把销量预测的值域转换到0到1，这玩意连lightgbm都有用)，一个就是去掉dropout，尤其是类似文章打分这样的场景。

大模型时代，噪声，过拟合，数据质量，数据量，这些小模型困扰大家的问题，都不存在了。大模型的玩法变成了猛猛加大模型，猛猛洗数据，猛猛过拟合。你说把全世界的数据都训完，都开始训合成数据了，这个老生常谈的泛化和记忆它还有纠结的意义吗？

大模型就是死记硬背，什么涌现那都是背的到位了。

2.效率不行

要舍弃一些参数的学习，那我就要用训练epoch和数据量来弥补，这个玩意前面也提到了，大模型不一样了。显卡我都不够，还需要一个核电站供电，你给我说我要削减20%到50%的参数？你知道我买这么数据得多少钱吗？招聘这么多人才996结果，你给我说大模型放松一下，坏了，比别人实验慢了。那不是相当于极大的debuff

3.稳定性不行

由于1和2的共同存在，导致训练和评估之间总有gap，连基本线上线下一致性都不太好保证，违背祖训啊大哥！怎么搜参数做scaling law，推导出的参数结论不靠谱那又白做了，又是一个debuff。

大模型训练已经进入了一个追求确定性的时代，用小模型的参数推演大模型，追求数据量，参数量，数据质量。所有的链条都在想怎么调高效率。

还有朋友问，为啥还用normlization啊？那玩意不一样，除了众所周知的好处之外，那玩意最起码还多了一点点参数呢，还是有用的。大家只不过在琢磨挪前面还是挪后面，没有必要砍掉。

关于dropout的问题，其实还真有人研究过，让他的不一致行为分布变得一致，也就是alpha dropout，但这玩意，也只是尽力而已，现在很多框架已经把把这个放进去了，但大家用的还是不多，在一致性和效率，稳定性上多多少少还有些问题，或者按下葫芦起了瓢。这个在百面大模型里有专门一节将这个问题和详细的“改进”方法。

在这里插入图片描述

总之，如无必要，勿增实体。dropout让人又爱又恨的背后，体现了技术的唯实践论。

另外在讨论这个的时候，有朋友用o3搜上面那个截图得到了答案。在这里插入图片描述
在这里插入图片描述

看起来openAI o3 search的实效性，fact check效果简直无敌了。要知道这本书周五才上架，这个截图是我手里的印刷稿，其他各家AI搜得加油了。

如何学习AI大模型 ？

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

对于从来没有接触过AI大模型的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。（全套教程文末领取哈）
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

在这里插入图片描述
在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）
img

在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

在这里插入图片描述
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习

优快云粉丝独家福利

这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

读者福利： 👉👉优快云大礼包：《最新AI大模型学习资源包》免费分享 👈👈

（👆👆👆安全链接，放心点击）
【LLM】大模型SFT技术总结（数据|训练|评估）
发现问题，并解决问题，批判性思维
11-04 6500
# 一、背景篇 ## 1. Special Token pretrain 阶段完全没见过的 token，在sft 阶段会被赋予全新的语义。主要用于标注对话的角色：user、assistant、system 这些。 此外，special_token 可以用来“构造知识”，比如"喜欢"这种知识一定是 sft 阶段才会见到的，可以剔除掉 pretrain 先验知识的影响，用来验证 sft 的训练情况，比如会不会过拟合。 我默认大家都知道怎么用 special_token 去拼 prompt，如果不熟悉，看下
【北上广深杭大厂AI算法面试题】深度学习篇...这里详细说明ResNet中为什么不用dropout?
2401_89898861的博客
03-01 1473
【北上广深杭大厂AI算法面试题】深度学习篇...这里详细说明ResNet中为什么不用dropout?
【大模型训不用dropout的原因】
一休
08-12 1308
大模型训不用dropout
Dropout的深入理解（基础介绍、模型描述、原理深入、代码实现以及变种）
热门推荐
艰难困苦，玉汝于成。
02-09 7万+
深度神经网络包含多个非线性隐藏层，这使得它们有强大的表现力，可以学习输入和输出之间非常复杂的关系。但是在训练数据有限的情况下，深度神经网络很容易过度学习造成过拟合，过拟合是深度神经网络的一个非常严重的问题，此外，神经网络越大，训练速度越慢，Dropout可以通过在训练神经网络期间随机丢弃单元来防止过拟合，实验证明Dropout有很好的效果。
大语言模型---Dropout 的定义；Dropout 减少过拟合的原因；Dropout 的实现
weixin_43883448的博客
12-01 1485
Dropout 是一种简单而有效的正则化技术，通过在每次训练迭代中随机丢弃（即屏蔽）一部分神经元，强制模型在没有某些特定神经元参与的情况下学习，从而降低对特定神经元的依赖性。机制：在训练过程中，每个神经元以一定概率 p（如 p=0.5）被随机“丢弃”（设置为 0），即它的输出不会被传播到下一层。在推理过程中，Dropout 被关闭，所有神经元都参与计算。
Dropout 原理解析
ytusdc的博客
01-07 2120
1、Dropout出现的原因 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。 过拟合是很多机器学习的通病。如果模型过拟合，那么得到的模型几乎不能用。为了解决过拟合问...
模型过拟合-----＞dropout : 调整
weixin_63016274的博客
07-08 6850
一种常见的做法是尝试不同的 dropout rate，通过交叉验证或验证集的表现来选择最合适的 dropout rate。另外，还应该注意不要将 dropout rate 设置得过高，过高的 dropout rate 可能会导致信息丢失过多，模型的训练效果下降。：如果模型非常复杂，例如层数很多或者节点数很大，容易过拟合，可以选择较高的 dropout rate，如 0.5 或更高。：对于较小的数据集，模型容易过拟合，建议设置较小的 dropout rate，通常在 0.1 到 0.3 之间。
大模型基础 | dropout机制
pk3725069的博客
09-26 1187
Dropout机制摘要 Dropout是一种有效的神经网络正则化技术，通过随机"丢弃"部分神经元(概率p)来防止过拟合。其核心原理包括：1)作为模型集成方法，训练多个子网络；2)减少神经元依赖，增强特征鲁棒性。训练时需引入1/(1-p)的缩放因子保持期望一致，但会增大方差。AlphaDropout通过仿射变换调整丢弃值，保持数据统计特性。这种机制简单高效，能显著提升模型泛化能力。
为什么在设置 model.eval() 之后，pytorch模型的性能会很差？为什么 dropout 影响性能？ 深度学习.pdf
05-24
在使用PyTorch进行深度学习模型训练时，开发者们常常会遇到模型性能下降的问题。特别是在将模型设置为评估模式后，性能的降低常常...同时，也要注意从多个角度审视模型的训练和评估过程，确保综合因素都得到适当处理。
深度学习LSTM模型与高级Dropout技术在PyTorch中的实现
12-31
内容概要：本文介绍了在 PyTorch 中构建一个多层 LSTM (Long Short-Term Memory) 模型及其训练过程，以及一种改进的高级Dropout机制的详细实现。LSTM 模型用于捕捉序列数据的长期依赖关系，在许多自然语言处理和时间...
深度学习中的“集体智慧”：Dropout技术详解——不仅是防止过拟合，更是模型集成的革命
weixin_45631123的博客
08-24 758
这意味着模型没有学到普适的规律，而是“死记硬背”了训练数据，甚至包括了其中的噪声。尽管后续出现了许多新的技术，Dropout因其概念简洁、实现方便、效果显著，至今仍然是深度学习工具箱中不可或缺的经典组件。它的伟大之处在于，用一种极其简单的方式，实现了极其复杂的效果。集成学习是机器学习中公认的强大技术，它通过训练多个模型并综合其预测结果，通常能获得比单一模型更好的泛化性能。Dropout之所以强大，并非因为它简单，而是因为它从两个精妙的角度提升了模型的泛化能力。这是Dropout最核心、最本质的作用。
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
Python单行客的博客
10-30 9614
Cursor使用及接入教程（非常详细），零基础入门到精通，看这一篇就够了
丢弃法(Dropout)——原理及代码实现
weixin_44042453的博客
08-07 8668
丢弃法(Dropout)原理及代码实现
Dropout 在大语言模型中的应用：以 GPT 和 BERT 为例
数据与算法架构提升之路专栏
05-28 1600
Dropout是一种关键的正则化技术，广泛应用于GPT和BERT等大型语言模型（LLMs），通过随机丢弃神经元（典型概率为0.1）防止过拟合。在BERT中，Dropout作用于前馈网络、注意力机制和嵌入层；在GPT中则扩展到嵌入层、残差连接及序列摘要部分。其核心机制是训练时随机屏蔽神经元以增强鲁棒性，推理时关闭并缩放权重以保持输出一致性。相比L1/L2正则化和数据增强，Dropout直接修改网络结构，尤其适合参数庞大的LLMs，但需注意可能增加训练时间以及与批量归一化的兼容性问题。合理使用Dropout能显
面试题：大模型中不使用Dropout的原因？
m0_59163425的博客
01-30 762
大模型中不用dropout的主要原因有以下几点：使用dropout操作固然可以增加模型的泛化性，但其引入噪声会导致模型训练的不稳定性。考虑到现在的大模型都是深层结构，以及在训练过程中会使用损失低精度量化计算，加入dropout无疑会加重整体训练的不稳定性。这里提一嘴，貌似增加模型泛化性的操作好像都会影响到训练的不稳定性，如Moe的操作也需要很小心。
比dropout更好的方法_比较自己的更好方法
cumi6497的博客
07-14 411
比dropout更好的方法by Tanner Christensen 由Tanner Christensen 比较自己的更好方法 (A Better Way to Compare Yourself) Comparing your work or abilities to someone else’s can be an unproductive and self-destructive act...
机器学习基础篇-Dropout + Early Stopping
你好，今天的你
07-02 593
Dropout Dropout是为了让监督学习模型变得更具有鲁棒性，更强壮。在训练过程中，部分由激活函数得到输出值会被忽略，所以，当做预测时，这个模型将不会依赖到某些特征。 除了dropout超参数以外，还有一个超参数“keep probability”，它是用于描述激活神经元的概率。所以，如果一个隐层拥有n个神经元，然后激活概率为p，那么将会有p*n个神经元会被激活，（1-p）*n个神经元会被暂时关掉。 Example： 在上示两张图片中，第二张图片，在第二层隐层的一个神经元被dropout了，进而第
大模型面试题100道：大厂真实面试题揭秘，AI工程师与产品经理必备！
weixin_55154866的博客
08-25 723
本文介绍了深度学习中的关键概念：1）激活函数的作用（引入非线性、控制输出范围、改善梯度传播等）；2）Dropout机制的原理及提升泛化能力的效果；3）交叉熵损失的公式（多分类和二分类情况）；4）自注意力机制中除以√dₖ的原因（防止softmax饱和）。最后讨论了AI大模型的学习路径，包括提示词工程、RAG系统、智能体开发等核心内容，并提供了分阶段的学习建议和资源包。
经验之谈|别再在CNN中使用Dropout了
AI公园
11-28 5995
点击上方“AI公园”，关注公众号作者：Harrison Jansma编译：ronghuaiyang我注意到有很多关于学习深度学习和将什么是深度学习的资源。但是不幸的是，等...
训练模型中dropout的作用
最新发布
10-31
在训练神经网络时，**Dropout** 是一种关键的正则化技术，通过随机“丢弃”部分神经元（输出置零）来防止过拟合。以下是其核心作用、实现原理及实际应用中的注意事项： --- ### **1. Dropout 的核心作用** #### （1）**防止过拟合** - **原理**：过拟合通常源于模型对训练数据中的噪声或特定模式过度学习。Dropout 通过随机丢弃神经元，迫使网络**不依赖任何单一神经元**，而是学习更鲁棒的特征组合。 - **效果**：相当于训练多个子网络的集成（Ensemble），最终模型是这些子网络的平均，泛化能力更强。 #### （2）**提升模型鲁棒性** - **噪声注入**：Dropout 可视为向隐藏层添加噪声，使模型对输入扰动更不敏感（类似数据增强）。 - **特征冗余**：强制网络学习冗余特征（多个神经元共同表达同一信息），避免关键特征丢失。 #### （3）**缓解共适应（Co-adaptation）** - **问题**：神经元之间可能形成强依赖（如某些神经元仅在特定神经元激活时才有效）。 - **解决**：Dropout 打破这种依赖，迫使每个神经元独立学习有用特征。 --- ### **2. Dropout 的实现原理** #### （1）**训练阶段** - 对每一层的输出，以概率 `p` 随机将部分神经元置零（`p` 称为 **Dropout 率**，常见值为 0.2~0.5）。 - **缩放补偿**：为保持激活值的期望不变，保留的神经元输出需乘以 `1/(1-p)`（或通过 `inverse dropout` 实现）。 ```python # PyTorch 实现示例 import torch.nn as nn dropout = nn.Dropout(p=0.3) # 30% 神经元被丢弃 output = dropout(hidden_layer) # 训练时应用，测试时自动关闭 ``` #### （2）**测试阶段** - **关闭 Dropout**：所有神经元参与计算，输出是训练时多个子网络的平均。 - **数学等价性**：通过缩放补偿，测试时的输出与训练时所有子网络的期望一致。 --- ### **3. Dropout 的适用场景** #### （1）**推荐使用的网络结构** - **全连接层（Dense Layers）**：Dropout 对密集连接的层效果显著。 - **RNN/LSTM 的隐藏层**：可缓解长序列训练中的梯度消失（但需谨慎使用，可能破坏时序依赖）。 - **CNN 的全连接部分**：卷积层通常不需要 Dropout（因其局部连接和权重共享已提供正则化）。 #### （2）**不适用的情况** - **输入层**：直接丢弃输入特征可能导致信息丢失（除非数据冗余度高）。 - **极浅网络**：如仅 1-2 层的网络，Dropout 可能过度简化模型。 - **Batch Normalization 共存时**：需调整 Dropout 率（如降低至 0.2 以下），因 BN 已提供正则化。 --- ### **4. 实际应用技巧** #### （1）**Dropout 率选择** - **经验值**： - 全连接层：0.2~0.5 - 输入层：0.1~0.2（若使用） - RNN 隐藏层：0.1~0.3（需实验验证） - **调优方法**：从低率（如 0.2）开始，逐步增加并观察验证集性能。 #### （2）**与其他正则化结合** - **权重衰减（L2 正则化）**：同时使用 Dropout 和 L2 可进一步抑制过拟合。 - **早停（Early Stopping）**：当验证集性能不再提升时停止训练，与 Dropout 互补。 - **数据增强**：Dropout 与数据增强（如旋转、裁剪）结合效果更佳。 #### （3）**变体技术** - **Spatial Dropout**（用于 CNN）：随机丢弃整个通道（而非单个神经元），强制特征图间的独立性。 ```python from tensorflow.keras.layers import SpatialDropout2D model.add(SpatialDropout2D(0.2)) # 丢弃 20% 的通道 ``` - **Alpha Dropout**（用于 SELU 激活函数）：保持均值和方差不变，适用于自归一化网络。 --- ### **5. 代码示例** #### （1）**Keras/TensorFlow 实现** ```python from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout model = Sequential([ Dense(128, activation='relu', input_shape=(input_dim,)), Dropout(0.3), # 训练时随机丢弃 30% 神经元 Dense(64, activation='relu'), Dropout(0.2), Dense(output_dim, activation='softmax') ]) model.compile(optimizer='adam', loss='categorical_crossentropy') model.fit(x_train, y_train, epochs=10, validation_data=(x_val, y_val)) ``` #### （2）**PyTorch 实现** ```python import torch.nn as nn class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.fc1 = nn.Linear(input_dim, 128) self.dropout1 = nn.Dropout(0.3) # 训练时启用 self.fc2 = nn.Linear(128, 64) self.dropout2 = nn.Dropout(0.2) self.fc3 = nn.Linear(64, output_dim) def forward(self, x): x = torch.relu(self.fc1(x)) x = self.dropout1(x) x = torch.relu(self.fc2(x)) x = self.dropout2(x) x = torch.softmax(self.fc3(x), dim=1) return x model = Net() model.train() # 训练模式（启用 Dropout） # model.eval() # 测试模式（关闭 Dropout） ``` --- ### **6. 常见问题解答** #### （1）**Dropout 会增加训练时间吗？** - **会**：因每次迭代随机丢弃神经元，实际参与计算的参数减少，但通常影响较小（可通过增加 Epoch 补偿）。 #### （2）**为什么测试时不需要 Dropout？** - 测试时需评估模型的真实性能，关闭 Dropout 可得到所有神经元的平均输出（类似集成效果）。 #### （3）**Dropout 与 BatchNorm 的顺序？** - **推荐顺序**：`Conv/Dense → BatchNorm → Activation → Dropout`（避免 BN 统计量受 Dropout 噪声影响）。 --- ### **7. 关键结论** 1. **核心作用**：Dropout 通过随机丢弃神经元防止过拟合，提升模型鲁棒性。 2. **适用场景**：全连接层、RNN 隐藏层（需谨慎），通常与 L2 正则化、早停等结合使用。 3. **实现要点**：训练时启用，测试时关闭；注意与其他正则化技术的平衡。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值