正则化(Regularization)、归一化(Normalization)、权重初始化等

最新推荐文章于 2025-09-04 10:31:33 发布
原创 最新推荐文章于 2025-09-04 10:31:33 发布 · 4.2k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#正则化 #归一化 #权重初始化

本文探讨了深度学习中的正则化方法，包括为何正则化能减少过拟合，Dropout Regularization的原理及应用。还介绍了其他如数据扩增和提早停止训练的正则化手段。此外，讨论了归一化在神经网络中的作用，以及权重初始化对于防止梯度消失和爆炸的重要性。最后，提到了梯度检验的注意事项，如不与dropout同时使用，并在训练前进行检验。

正则化（Regularization）

解决深度学习中的over-fitting(high variance)问题，有两个solutions，其中之一就是regularization，另外就是more data。
在这里插入图片描述
正则化就是在原cost function 中加入正则项

Why regularization can reduces overfitting?

直观上理解就是如果正则化系数λ\lambdaλ设置的足够大，那矩阵WWW就会很小，就会导致隐藏单元的影响被削弱，相当于网络被简化了。然后ZZZ也会变小，用tanh function来看，zzz很小的时候接近线性区。

因为一个简单网络是不容易造成overfitting的，所以综上正则化有利于预防过拟合。

Dropout Regularization

dropout 需要设置keep-prob阈值，遍历每个单元，然后通过keep-prob有选择地保留或删除 neural network units。达到简化网络的作用。

最常用的就是 Inverted dropout（反转随机激活）：通过除以keep-prop，可以确保aaa的期望值不变，no matter what keep-prop is。
dropout regularization 通常用于CV领域

Other regularization methods

数据扩增：图片放大，旋转，剪切等。得到的数据包含的信息随不能增加太多，但付出的代价几乎没有。
Easy stopping：提早停止训练神经网络。
根据训练误差或JJJ的优化函数，对比验证集误差，可以选择迭代过程停止的位置。
在这里插入图片描述

.
.

归一化（Normalization）

归一化实现数据转化需要两个步骤：

  • 零均值
  • 归一化方差

μ=1m∑i=1mx(i)μ = \frac{1} {m} \sum_{i=1}^{m} x^{(i)}μ=

最低0.47元/天 解锁文章
AllenNLP框架学习笔记（模型篇之初始化与正则化）
<p>专注挖坑</p>
03-24 485
初始化 在某些情况下，用户想以特定方式初始化模型参数（例如，使用Xavier方法初始化）。不用担心， AllenNLP在包含初始化逻辑的模型构造函数中提供了一种方便的抽象方法，该方法使得基于regex匹配的参数名应用到特定的初始化变得简单。 为了初始化单个模型参数，可以在AllenNLP中使用Initializers，Initializers基本上只是Python方法，它们接受张量参数并对其应用一些特定的操作。在大多数情况下，它们只是PyTorch的initializers（在torch.nn.init中的
深度学习 初始化、正则化
HaruStone的博客
10-16 487
要点笔记： You will use a 3-layer neural network (already implemented for you). Here are the initialization methods you will experiment with: Zeros initialization Random initialization This initializes...
深度学习-正则化和归一化（图文讲解）
最新发布
Jigsaw的博客
09-04 924
模型训练中常见过拟合和收敛问题，可通过正则化和归一化解决。正则化通过添加惩罚项控制模型复杂度，L1正则化产生稀疏权重，L2正则化保持权重均衡。归一化将数据统一到相同尺度，包括批量归一化（图像处理）、层归一化（文本处理）、实例归一化（风格迁移）和组归一化（医学图像）。两者结合能有效提升模型泛化能力和训练效率。
Regularization 正则化 和 normalization数据标准化（归一化，规范化）
qq_27763933的博客
11-22 261
2、Regularization（正则化）与Dropout：针对。1、 normalization（归一化）: 解决的问题是。，就不会进入激活函数的饱和区，学习梯度就不会降为0。3、残差网络（shortcut）：在网络。加深的情况下解决梯度消失的问题。
深度学习正则化归一化，动图版来了，复杂概念秒变简单！
2401_84204413的博客
07-10 980
摘要：本文解析了机器学习的两个关键技术——正则化和归一化。正则化通过L1/L2正则项防止模型过拟合，L1产生稀疏权重，L2保持参数均衡；归一化统一数据尺度，介绍批量、层、实例和组归一化四种方法及其适用场景。文章还提供了大模型学习资源，包含学习路线、视频教程、技术文档和面试题等，助力AI开发者掌握核心技能。
Weight Normalization(WN) 权重归一化
hxxjxw的博客
04-10 7368
BN/LN/IN/GN都是在数据的层面上做的归一化，而Weight Normalization(WN)是在权值的维度上做的归一化。WN的做法是将权值向量w 在其欧氏范数和其方向上解耦成了参数向量 v和参数标量 g后使用SGD分别优化这两个参数。 WN也是和样本量无关的，所以可以应用在batchsize较小以及RNN等动态网络中；另外BN使用的基于mini-batch的归一化统计量代替全局统计量，相当于在梯度计算中引入了噪声。而WN则没有这个问题，所以在生成模型，强化学习等噪声...
什么是归一化和正则化
孔乙己的博客
09-06 1131
归一化和正则化是计算机科学中的三个重要概念。用于数据库设计，帮助减少数据冗余和异常。归一化在机器学习中用于将特征数据缩放到相同范围，确保模型的训练过程更加平衡。而正则化则是一种防止模型过拟合的技术，通过限制模型的复杂度提高模型的泛化能力。这些概念虽然在不同领域中应用，但它们都有一个共同的目标：通过优化数据的结构或模型的复杂度，提升系统或模型的性能和稳定性。在实际应用中，理解这些技术的适用场景，并根据实际需求灵活应用，将大大提高我们的开发效率和模型表现。
深度学习(DL)-2.1 深度学习优化技巧——网络正则化、归一化、参数初始化 (Regularization、Normalization and Initialization)
Ogmx的博客
09-22 893
1.机器学习开发实践 1.1 需要考虑的问题 开发流程：  是一个迭代循环过程：提出想法->编写代码->进行实验验证->提出新想法->重写代码->再次实验验证->…   需要考虑的问题： 网络层数 神经元单元数 学习率 激活函数选择 … 1.2 数据集划分 1.2.1 三种数据集 训练集 (train set)：用来训练模型 验证集 (valid/dev set)：用于验证超参数选择，以此选出最好模型 (非必须) 测试集 (test set)：用于模拟真实情况，对模型
归一化和正则化
ThreeS_tones的博客
03-07 703
归一化和正则化是机器学习和数据预处理中的两个重要概念，但它们的目的、方法和作用有显著不同。归一化的核心目的是，使数据处于相似的尺度范围，从而提升模型性能或训练效率。当特征尺度差异大时（例如一个特征范围是0-1，另一个是100-10000），梯度下降算法在不同方向上更新速度不一致，导致收敛缓慢。归一化后，各特征梯度方向更平衡，加快收敛速度。基于距离的算法（如KNN、SVM、K-Means）对特征尺度敏感。若某个特征数值过大，会主导距离计算，导致模型忽略其他特征的影响。
正则化（Regularization）
Rhett_Butler0922的博客
04-25 844
正则化是机器学习和深度学习不可或缺的技术，核心是控制模型复杂度，防止过拟合。掌握基础理论：理解 L1、L2、Dropout 等方法的数学原理和几何解释。实践优先：通过代码实现正则化（如 PyTorch、TensorFlow），观察对训练和测试性能的影响。调参经验：尝试不同正则化强度和组合，记录实验结果。阅读文献：深入学习经典论文，如 Dropout 原始论文（Srivastava et al., 2014）或标签平滑相关研究。关注前沿。
Normalization、Standardization and Regularization
KinboSong的博客
01-28 683
1、Normalization On one hand,normalization rescales the values into a range of [0,1]. This might be useful in some cases where all parameters need to have the same positive scale. However, the outli
【日常分享】正则化（regularization）与归一化（normalization）
杨小浩浩的博客
11-17 2862
111
PyTorch笔记 - Weight Normalization 权重归一化
AGI
03-23 4556
深度神经网络的权重归一化（Weight Normalization，简称WN）是一种优化技术，它可以加速训练过程并提高模型的泛化能力。此外，权重归一化还可以改善网络的初始化和正则化，因为它可以降低权重矩阵的条件数，并且可以与批次归一化或dropout等技术结合使用。权重归一化将连接权重向量w在其欧氏范数和其方向上解耦成了参数向量v和参数标量g，即w = g * v / ||v||，其中||v||表示v的欧氏范数。这样，原来对w的优化就转化为对g和v的优化，而g和v分别控制了w的长度和方向。
权重归一化weight_norm
weixin_45718987的博客
11-24 4199
神经网络权重归一化weight_norm
数据预处理 - 归一化/标准化/正则化
u013571243的专栏
03-15 4828
http://www.bubuko.com/infodetail-557740.html     一、标准化（Z-Score），或者去除均值和方差缩放 公式为：(X-mean)/std  计算时对每个属性/每列分别进行。 将数据按期属性（按列进行）减去其均值，并处以其方差。得到的结果是，对于每个属性/每列来说所有数据都聚集在0附近，方差为1。 实现时，有两种不同的方式：
归一化权重和概率
xw555666的博客
03-27 2678
归一化权重和概率在概念上可以相互联系，尤其是在涉及表示相对频率、可能性或贡献程度时，两者都需要满足一定的归一化要求来确保其可比性和逻辑正确性。当权重仅表示相对重要性、资源分配、影响力等非随机性属性，或是纯粹用于规范化数据以便进一步处理时，归一化权重就不能直接与概率相联系。只有当权重明确地被设计为表示某种随机事件发生的可能性，并且满足概率的基本定义（即所有可能事件的概率之和为1），归一化权重才与概率有直接关联。
万字长文！一文了解归一化：从Transformer归一化到主流大模型归一化的演变！
Android23333的博客
04-15 1664
自Transformer架构被提出来之后，人们一直都在对Transformer架构进行更改，例如：从正余弦位置编码旋转位置编码RoFE、从多头Attention到DeepSeek的MLA、从前馈神经网络到当前的MoE架构等。 而归一化（Normalization）在整体Transformer架构中并没有做太多的改进，但它对模型能否顺利训练，却有着很关键的作用。本文将带你一文了解归一化（Normalization），包括其背景、种类、Transformer归一化及源码、大模型常见归一化、大模型归一化位置等。
数据归一化，权重初始化--学习笔记
oneself的博客
08-16 1827
数据归一化，权重初始化
normalization,、standardization、regularization区别和联系
qq_24884193的博客
02-17 1492
normalization和standardization是差不多的，都是把数据进行前处理，从而使数值都落入到统一的数值范围，从而在建模过程中，各个特征量没差别对待。normalization一般是把数据限定在需要的范围，比如一般都是【0，1】，从而消除了数据量纲对建模的影响。standardization 一般是指将数据正态化，使平均值0方差为1. 因此normalization和standardization 是针对数据而言的，消除一些数值差异带来的特种重要性偏见。经过归一化的数据，能加快训练速度，促.
正则化与归一化
03-14
<think>好的，用户想了解正则化和归一化在机器学习中的作用和差异。首先，我需要回忆这两个概念的定义和应用场景。 根据引用[3]和[4]，归一化是数据预处理的一部分，主要调整数据特征的范围，比如缩放到[0,1]或标准化为均值为0，方差为1。而正则化是用于防止模型过拟合，通过修改损失函数来约束模型参数的大小，比如L1或L2正则化。 接下来需要明确两者的区别。归一化作用于数据，处理的是特征尺度问题，帮助模型更快收敛或提高精度。正则化作用于模型参数，控制复杂度，避免过拟合。应用场景方面，归一化常用于涉及距离计算的模型，如SVM、KNN；正则化则在模型训练时用于线性回归、神经网络等。 用户可能混淆这两个概念，因为它们的中文翻译相近，但实际作用不同。需要举例说明，比如归一化用MinMaxScaler，正则化用L2惩罚项。同时，结合引用中的资料，确保信息准确。 最后，生成相关问题时要覆盖两者的定义、方法、应用场景和联合使用情况，帮助用户深入理解。</think>### 正则化与归一化的区别及应用场景 #### 一、核心定义与作用 1. **归一化（Normalization）** - **作用对象**：训练数据 - **目标**：消除特征间的量纲差异，将数据缩放到统一范围（如$[0,1]$或均值为0、方差为1），提升模型收敛速度和精度[^3][^4]。 - **常见方法**： - 最小-最大归一化：$$x_{\text{norm}} = \frac{x - x_{\min}}{x_{\max} - x_{\min}}$$ - Z-Score标准化：$$x_{\text{std}} = \frac{x - \mu}{\sigma}$$ - **应用场景**： - 涉及距离计算的模型（如SVM、KNN、聚类） - 梯度下降优化的模型（如神经网络、线性回归） 2. **正则化（Regularization）** - **作用对象**：模型参数 - **目标**：通过约束参数大小防止过拟合，提升模型泛化能力[^3]。 - **常见方法**： - L1正则化（Lasso）：$$L_{\text{new}} = L_{\text{original}} + \lambda \sum |w_i|$$ - L2正则化（Ridge）：$$L_{\text{new}} = L_{\text{original}} + \lambda \sum w_i^2$$ - **应用场景**： - 高维数据（如线性回归、逻辑回归） - 复杂模型（如深度学习网络） #### 二、关键差异 | **维度** | **归一化** | **正则化** | |----------------|-----------------------------|-----------------------------| | 作用对象 | 数据特征 | 模型参数 | | 处理问题 | 特征尺度不一致 | 模型过拟合 | | 技术实现 | 数据预处理阶段 | 损失函数修改 | | 典型方法 | Min-Max、Z-Score | L1/L2正则化 | #### 三、联合使用案例 1. **图像分类任务** - 归一化：将像素值从$[0,255]$缩放到$[0,1]$以加速训练。 - 正则化：在神经网络中使用L2正则化约束权重，防止过拟合。 2. **线性回归预测** - 归一化：标准化特征，避免某些特征主导梯度下降方向。 - 正则化：添加Ridge正则化项，抑制多重共线性影响。 #### 四、选择原则 - **使用归一化**：当特征量纲差异大或模型依赖距离计算时（如KNN）。 - **使用正则化**：当模型复杂度高、训练误差低但测试误差高时（如深度网络过拟合）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值