DLML正则化

花书本将正则化定义为减少泛化误差而不是训练误差
约束和惩罚
估计的正则化以偏差的增加换取方差的减少

训练的数据分布和真实的数据分布一定是有偏差的
对训练中权重的扰动

高方差与机器学习中的分布

为什么过拟合是高方差问题？

在机器学习中，预测误差可以分解为三个部分：

1. 偏差(Bias)：模型预测的系统性偏离，表示模型假设与真实情况的差距
2. 方差(Variance)：模型预测在不同训练数据下的波动程度
3. 不可约误差：数据本身的随机性造成的误差

过拟合被称为高方差问题，因为：

• 高敏感性：过拟合的模型对训练数据的微小变化极为敏感
• 不稳定预测：如果用略微不同的训练集重新训练模型，预测结果会有很大差异
• 过度自由度：模型参数过多，能够"记忆"训练数据中的随机噪声

比喻：射击靶心多次：

• 低偏差高方差：弹着点分散在靶子周围，平均位置接近靶心，但每次都差别很大（过拟合）
• 高偏差低方差：弹着点集中在一个区域，但这个区域偏离靶心（欠拟合）
• 低偏差低方差：弹着点集中在靶心周围（理想模型）

所有模型都是学习一个分布吗？

从本质上讲，是的。所有监督学习模型都在尝试学习数据的条件分布 P(Y|X)，即给定输入X，输出Y的概率分布：

• 回归模型：通常学习条件期望 E[Y|X]（分布的均值）
• 分类模型：学习条件概率 P(Y=类别|X)
• 概率模型：直接建模完整的条件概率分布

正则化的有效性在于它改变了模型学习分布的方式，加入先验知识：

• 无正则化：纯粹从数据学习分布，容易过分信任噪声
• L2正则化：假设参数服从正态分布（多数参数应该较小）
• L1正则化：假设参数服从拉普拉斯分布（多数参数应该为零）

从数学角度理解过拟合与正则化

1. 偏差-方差分解

假设我们有真实函数 $f(x)$ 和训练数据 $D$，基于$D$训练的模型为 $\hat{f}(x;D)$。对于任意输入 $x$，预测的期望平方误差可以分解为：

$$E[(y-\hat{f}(x;D){)}^2]={\text{Bias}}^2+\text{Variance}+{\sigma }_{ϵ}^2$$

其中：

• $$\text{Bias}=E[\hat{f}(x;D)]-f(x)$$：模型预测的平均值与真实值的差距
• $$\text{Variance}=E[(\hat{f}(x;D)-E[\hat{f}(x;D)]{)}^2]$$：模型预测在不同训练集上的波动程度
• $${\sigma }_{ϵ}^2$$：不可约误差（数据固有噪声）

过拟合的模型有高方差是因为：预测对训练数据的微小变化极为敏感，数学上表现为方差项过大。

2. 线性回归的过拟合

考虑线性模型 $y=X\beta +ϵ$，使用最小二乘法估计参数：

$${\hat{\beta }}_{OLS}=(X^{T}X{)}^{-1}{X}^{T}y$$

当特征数量接近或超过样本数量时，$X^{T}X$ 接近奇异矩阵，导致：

• 参数估计的方差极大：$$\text{Var}({\hat{\beta }}_{OLS})={\sigma }^2(X^{T}X{)}^{-1}$$
• 矩阵的条件数很大，小的数据扰动会导致系数的巨大变化

3. 正则化的数学形式与效果

L2正则化 (Ridge)

添加L2惩罚后的目标函数：

$$\underset{\beta }{\min }|y-X\beta {|}_2^2+\lambda |\beta {|}_2^2$$

闭式解为：

$${\hat{\beta }}_{ridge}=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y$$

从数学上看，这相当于在矩阵 $X^{T}X$ 的对角线上添加常数 $\lambda$，改善了矩阵的条件数，减小了参数估计的方差：

$$\text{Var}({\hat{\beta }}_{ridge})={\sigma }^2(X^{T}X+\lambda I{)}^{-1}{X}^{T}X(X^{T}X+\lambda I{)}^{-1}<{\sigma }^2(X^{T}X{)}^{-1}$$

L1正则化 (Lasso)

$$\underset{\beta }{\min }|y-X\beta {|}_2^2+\lambda |\beta {|}_1$$

L1正则化没有闭式解，但可以证明，当 $\lambda$ 足够大时，解的某些分量严格为零。

4. 贝叶斯视角下的数学解释

从贝叶斯角度看，正则化等价于对参数引入先验分布：

• 无正则化：对应最大似然估计 $$P(\theta |D)\propto P(D|\theta )$$
• L2正则化：对应高斯先验 $$P(\theta )\propto \exp (-\frac{\lambda }{2}|\theta {|}_2^2)$$
  • 后验分布：$$P(\theta |D)\propto P(D|\theta )P(\theta )$$
  • MAP估计：$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{\max }\log P(D|\theta )-\frac{\lambda }{2}|\theta {|}_2^2$$
• L1正则化：对应拉普拉斯先验 $$P(\theta )\propto \exp (-\lambda |\theta {|}_1)$$
  • MAP估计：$${\hat{\theta }}_{MAP}=\arg \underset{\theta }{\max }\log P(D|\theta )-\lambda |\theta {|}_1$$

5. 几何解释

在参数空间中，L2正则化的约束区域是球形($|\beta {|}_2\le t$)，而L1正则化的约束区域是菱形($|\beta {|}_1\le t$)。

在优化过程中，目标函数的等高线与约束区域相切于解点：

• L2约束：球形与等高线相切，倾向于产生较小但非零的系数
• L1约束：菱形与等高线相切常发生在菱形的角上，对应某些参数正好为零

6. 渐近分析

假设数据生成过程为 $y=X{\beta }^{\ast }+ϵ$，且样本数量 $n\to \infty$：

• 无正则化：$${\hat{\beta }}_{OLS}\stackrel{P}{\to }{\beta }^{\ast }$$（一致性估计）
• L2正则化：$${\hat{\beta }}_{ridge}\stackrel{P}{\to }{\beta }_{ridge}^{\ast }\ne {\beta }^{\ast }$$（产生有偏估计）
• L1正则化：在稀疏性假设下，${\hat{\beta }}_{lasso}$ 可以保持一致性，同时实现变量选择

神经网络中的正则化：数学视角

1. 神经网络的过拟合问题

神经网络特别容易过拟合，因为：

• 参数空间极大：典型CNN可能有数百万参数，远超训练样本数
• 表达能力极强：有足够神经元的网络理论上可以拟合任意函数
• 优化难度大：损失函数非凸，容易陷入过拟合的局部最小值

在数学上，一个L层神经网络可表示为嵌套函数：

$$f(x;\theta )=f_L(f_{L-1}(...f_1(x;{\theta }_1)...;{\theta }_{L-1});{\theta }_L)$$

其中 $\theta ={\theta }_1,{\theta }_2,...,{\theta }_L$ 包含所有权重和偏置。

2. 神经网络的经典正则化方法

权重正则化 (Weight Regularization)

$$L_{reg}=L_{original}+\lambda \sum _{l=1}^L\Omega ({\theta }_l)$$

其中：

• L2正则化(Weight Decay)：$$\Omega ({\theta }_l)=|{\theta }_l{|}_2^2$$
• L1正则化：$$\Omega ({\theta }_l)=|{\theta }_l{|}_1$$

Dropout

数学表示为在训练时对每层输出随机置零：

$${\tilde{y}}^{(l)}=r^{(l)}\odot y^{(l)}$$

其中 $r^{(l)}\sim \text{Bernoulli}(p)$ 是二元随机变量向量，$\odot$ 表示元素乘积。

在测试时，通过缩放保持期望一致：$${\hat{y}}^{(l)}=p{y}^{(l)}$$

批量归一化 (Batch Normalization)

对每一层的输出进行标准化：

$${\hat{z}}^{(l)}=\frac{z^{(l)}-{\mu }_B}{\sqrt{{\sigma }_B^2+ϵ}}$$

$$y^{(l)}=\gamma {\hat{z}}^{(l)}+\beta$$

其中 ${\mu }_B$ 和 ${\sigma }_B^2$ 是当前mini-batch的均值和方差，$\gamma$ 和 $\beta$ 是可学习参数。

3. 高级正则化技术

早停法 (Early Stopping)

$${\theta }^{\ast }={\theta }_t\text{ where }t=\arg \underset{t}{\min }{L}_{val}({\theta }_t)$$

数据增强 (Data Augmentation)

$$L_{aug}={\mathbb{E}}_{x\sim D,T\sim \mathcal{T}}[L(f(T(x);\theta ),y)]$$

对抗训练 (Adversarial Training)

$$\underset{\theta }{\min }{\mathbb{E}}_{(x,y)\sim D}[\underset{|\delta {|}_p\le ϵ}{\max }L(f(x+\delta ;\theta ),y)]$$

4. 正则化的统一数学视角

在神经网络中，所有正则化方法都可以视为对以下目标的优化：

$$\underset{\theta }{\min }{\mathbb{E}}_{(x,y)\sim D_{train}}[L(f(x;\theta ),y)]+\lambda \cdot \text{复杂度}(\theta )$$

不同之处在于如何定义复杂度：

• 参数范数：直接约束权重大小
• 函数平滑度：约束输出对输入的敏感度
• 随机扰动鲁棒性：约束模型对数据/参数的微小变化稳定性

5. 深度学习中特有的现象

神经网络与经典模型的一个重要区别是"双下降(Double Descent)"现象：

• 当模型复杂度超过某个阈值后，测试误差可能再次下降
• 过参数化(over-parameterization)模型在无正则化下也能泛化良好

这与参数空间的几何特性有关，SGD等优化算法倾向于找到平坦的最小值区域，具有隐式正则化效果。

L2正则化对神经网络梯度下降表达式的影响

下面我将对比加入L2正则化前后神经网络梯度下降表达式的区别，并用数学公式清晰地展示其差异。

1. 未加入L2正则化的梯度下降

在神经网络训练中，我们通常使用梯度下降法最小化损失函数 $\mathcal{L}(\theta )$，其中 $\theta$ 表示模型的参数（权重和偏置）。

对于一个包含 $N$ 个样本的数据集，损失函数可以定义为：

$$\mathcal{L}(\theta )=\frac{1}{N}\sum _{i=1}^N\ell (f(x_i;\theta ),y_i)$$

其中：

• $N$：数据样本数量
• $f(x_i;\theta )$：模型对输入 $x_i$ 的预测
• $y_i$：实际标签
• $\ell$：单个样本的损失函数

在标准梯度下降中，参数 $\theta$ 的更新规则为：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

其中：

• $\eta$：学习率
• ${\nabla }_{\theta }\mathcal{L}({\theta }_t)$：损失函数关于 $\theta$ 的梯度
• $t$：当前迭代步

2. 加入L2正则化的梯度下降

L2正则化通过在损失函数中添加参数平方和的惩罚项来防止过拟合。带有L2正则化的损失函数定义为：

$${\mathcal{L}}_{\text{reg}}(\theta )=\mathcal{L}(\theta )+\frac{\lambda }{2}|\theta {|}_2^2$$

其中：

• $\lambda$：正则化系数，控制正则化强度
• $|\theta {|}_2^2={\sum }_j{\theta }_j^2$：参数的L2范数平方

计算新的损失函数 ${\mathcal{L}}_{\text{reg}}(\theta )$ 的梯度：

$${\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}(\theta )={\nabla }_{\theta }\left(\mathcal{L}(\theta )+\frac{\lambda }{2}|\theta {|}_2^2\right)$$

利用梯度的线性性质：

$${\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}(\theta )={\nabla }_{\theta }\mathcal{L}(\theta )+{\nabla }_{\theta }\left(\frac{\lambda }{2}|\theta {|}_2^2\right)$$

计算正则化项的梯度：

$${\nabla }_{\theta }\left(\frac{\lambda }{2}|\theta {|}_2^2\right)={\nabla }_{\theta }\left(\frac{\lambda }{2}\sum _j{\theta }_j^2\right)=\frac{\lambda }{2}\cdot 2\theta =\lambda \theta$$

因此，总梯度为：

$${\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}(\theta )={\nabla }_{\theta }\mathcal{L}(\theta )+\lambda \theta$$

代入梯度下降的更新公式：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}({\theta }_t)$$ $${\theta }_{t+1}={\theta }_t-\eta \left({\nabla }_{\theta }\mathcal{L}({\theta }_t)+\lambda {\theta }_t\right)$$

整理得到：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)-\eta \lambda {\theta }_t$$ $${\theta }_{t+1}=(1-\eta \lambda ){\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

3. 两种情况的对比

未加入L2正则化：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

加入L2正则化：

$${\theta }_{t+1}=(1-\eta \lambda ){\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

关键区别

1. 权重衰减项：加入L2正则化后，参数 ${\theta }_t$ 在每一步更新时乘以系数 $(1-\eta \lambda )$，这个系数小于1，因此对参数施加了衰减效应。

2. 参数约束：衰减项 $-\eta \lambda {\theta }_t$ 与参数大小成正比，参数越大，受到的惩罚越大，这有效限制了模型复杂度，防止过拟合。

• 在实际应用中，L2正则化通常只应用于权重参数，而不用于偏置项
• 正则化系数 $\lambda$ 是一个超参数，需要通过交叉验证等方法选择适当的值
• 常见的 $\lambda$ 值范围在 0.0001 到 0.1 之间

L1正则化在神经网络梯度下降中的影响

1. 未加入正则化的梯度下降

在神经网络训练中，未加入正则化时，我们的目标是最小化损失函数 $\mathcal{L}(\theta )$，其中 $\theta$ 表示模型的参数（权重和偏置）。

对于一个包含 $N$ 个样本的数据集，损失函数可以定义为：

$$\mathcal{L}(\theta )=\frac{1}{N}\sum _{i=1}^N\ell (f(x_i;\theta ),y_i)$$

其中：

• $N$：数据样本数量
• $f(x_i;\theta )$：模型对输入 $x_i$ 的预测
• $y_i$：实际标签
• $\ell$：单个样本的损失函数

在标准梯度下降中，参数 $\theta$ 的更新规则为：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

其中：

• $\eta$：学习率
• ${\nabla }_{\theta }\mathcal{L}({\theta }_t)$：损失函数关于 $\theta$ 的梯度
• $t$：当前迭代步

2. 加入L1正则化的梯度下降

L1正则化通过在损失函数中添加参数绝对值之和的惩罚项来防止过拟合并促进模型稀疏性。带有L1正则化的损失函数定义为：

$${\mathcal{L}}_{\text{reg}}(\theta )=\mathcal{L}(\theta )+\lambda |\theta {|}_1$$

其中：

• $\lambda$：正则化系数，控制正则化强度
• $|\theta {|}_1={\sum }_j|{\theta }_j|$：参数的L1范数（绝对值之和）

计算新的损失函数 ${\mathcal{L}}_{\text{reg}}(\theta )$ 的梯度：

$${\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}(\theta )={\nabla }_{\theta }\mathcal{L}(\theta )+\lambda {\nabla }_{\theta }|\theta {|}_1$$

L1范数在 ${\theta }_j=0$ 处不可导，需要使用次梯度（subgradient）来处理。L1范数的次梯度为：

$${\nabla }_{\theta }|\theta {|}_1=\text{sign}(\theta )$$

其中，$\text{sign}(\theta )$ 是一个向量，每个分量定义为：

$$\text{sign}({\theta }_j)=\{\begin{array}{llcc}1& \text{if }{\theta }_j>00& \text{if }{\theta }_j=0-1& \text{if }{\theta }_j<0\end{array}$$

因此，总梯度为：

$${\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}(\theta )={\nabla }_{\theta }\mathcal{L}(\theta )+\lambda \cdot \text{sign}(\theta )$$

代入梯度下降的更新公式：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }{\mathcal{L}}_{\text{reg}}({\theta }_t)$$ $${\theta }_{t+1}={\theta }_t-\eta \left({\nabla }_{\theta }\mathcal{L}({\theta }_t)+\lambda \cdot \text{sign}({\theta }_t)\right)$$

整理得到：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)-\eta \lambda \cdot \text{sign}({\theta }_t)$$

3. 两种情况的对比

未加入L1正则化：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$$

加入L1正则化：

$${\theta }_{t+1}={\theta }_t-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)-\eta \lambda \cdot \text{sign}({\theta }_t)$$

关键区别

1. 固定惩罚项：L1正则化添加了一个与参数符号相关的固定惩罚项 $-\eta \lambda \cdot \text{sign}({\theta }_t)$。这个惩罚项的大小为 $\eta \lambda$，与参数的绝对值无关，仅依赖于其正负性。
2. 稀疏性促进：由于惩罚项是固定的，L1正则化强烈倾向于将参数推向0，特别是当参数较小时。这使得L1正则化在特征选择和模型稀疏化方面非常有效。
3. 次梯度处理：L1范数在0处不可导，需要使用次梯度方法处理，这在实现上比L2正则化更复杂。

直观理解

L1正则化对参数施加了"剪切"效应：

• 对于正参数：减去固定值 $\eta \lambda$，使其减小
• 对于负参数：加上固定值 $\eta \lambda$，使其增大
• 当参数接近0时，固定惩罚可能将其直接推至0

例如，假设 $\eta =0.01$，$\lambda =0.1$：

• 若 ${\theta }_t=0.005$，更新后 ${\theta }_{t+1}=0.004-\eta {\nabla }_{\theta }\mathcal{L}({\theta }_t)$（不考虑梯度项）
• 若 ${\theta }_t=0.0005$，更新后可能变为负值，但实践中通常会截断为0

L1正则化的主要优势

1. 产生稀疏解：许多参数被精确地置为0，自动实现特征选择
2. 模型简化：减少非零参数数量，降低计算复杂度
3. 抗噪能力：忽略不重要的特征，提高模型对噪声的鲁棒性

实践应用注意事项

• L1正则化通常只应用于权重参数，而不用于偏置项
• 正则化系数 $\lambda$ 是重要的超参数，需要通过交叉验证等方法选择适当的值
• 在参数接近0时，可能需要特殊处理以避免数值不稳定性

L1正则化通过促进参数稀疏性，在优化损失的同时实现了模型简化和自动特征选择，这是其在神经网络训练中的独特价值。

基本矩阵形式问题

假设我们有一个线性回归问题，用矩阵表示为：

$$y=Xw$$

其中： $$y=\left[\begin{array}{c}10815-64\end{array}\right]\in {\mathbb{R}}^5,X=\left[\begin{array}{cccccccccccccccc}2& 1& 3& 01& 0& 2& -13& 2& 0& 1-1& 1& -2& 02& -1& 1& 2\end{array}\right]\in {\mathbb{R}}^{5\times 4},w=\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]\in {\mathbb{R}}^4$$

1. 无正则化的梯度下降

标准损失函数为均方误差：$\mathcal{L}(w)=|y-Xw{|}_2^2$

梯度计算：${\nabla }_w\mathcal{L}(w)=-2X^T(y-Xw)$

更新方程： $$w_{t+1}=w_t-\eta {\nabla }_w\mathcal{L}(w_t)=w_t+2\eta X^T(y-X{w}_t)$$

2. L2正则化的梯度下降

L2正则化损失函数：${\mathcal{L}}_{L2}(w)=|y-Xw{|}_2^2+\lambda |w{|}_2^2$

梯度计算：${\nabla }_w{\mathcal{L}}_{L2}(w)=-2X^T(y-Xw)+2\lambda w$

更新方程： $$w_{t+1}=w_t-\eta {\nabla }_w{\mathcal{L}}_{L2}(w_t)=w_t+2\eta X^T(y-X{w}_t)-2\eta \lambda w_t$$ $$w_{t+1}=(1-2\eta \lambda )w_t+2\eta X^T(y-X{w}_t)$$

矩阵形式： $${\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_{t+1}=(1-2\eta \lambda ){\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_t+2\eta \left[\begin{array}{ccccccccccccccccc}2& 1& 3& -1& 21& 0& 2& 1& -13& 2& 0& -2& 10& -1& 1& 0& 2\end{array}\right]\left(\left[\begin{array}{c}10815-64\end{array}\right]-\left[\begin{array}{cccccccccccccccc}2& 1& 3& 01& 0& 2& -13& 2& 0& 1-1& 1& -2& 02& -1& 1& 2\end{array}\right]{\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_t\right)$$

3. L1正则化的梯度下降

L1正则化损失函数：${\mathcal{L}}_{L1}(w)=|y-Xw{|}_2^2+\lambda |w{|}_1$

梯度计算：${\nabla }_w{\mathcal{L}}_{L1}(w)=-2X^T(y-Xw)+\lambda \cdot \text{sign}(w)$

更新方程： $$w_{t+1}=w_t-\eta {\nabla }_w{\mathcal{L}}_{L1}(w_t)=w_t+2\eta X^T(y-X{w}_t)-\eta \lambda \cdot \text{sign}(w_t)$$

矩阵形式： $${\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_{t+1}={\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_t+2\eta \left[\begin{array}{ccccccccccccccccc}2& 1& 3& -1& 21& 0& 2& 1& -13& 2& 0& -2& 10& -1& 1& 0& 2\end{array}\right]\left(\left[\begin{array}{c}10815-64\end{array}\right]-\left[\begin{array}{cccccccccccccccc}2& 1& 3& 01& 0& 2& -13& 2& 0& 1-1& 1& -2& 02& -1& 1& 2\end{array}\right]{\left[\begin{array}{c}{w}_1{w}_2{w}_3{w}_4\end{array}\right]}_t\right)-\eta \lambda {\left[\begin{array}{c}\text{sign}(w_1)\text{sign}(w_2)\text{sign}(w_3)\text{sign}(w_4)\end{array}\right]}_t$$

关键区别对比

假设在某一迭代步，权重为$w_t=[2.5,-1.2,0.8,0.05{]}^T$，学习率$\eta =0.01$，正则化系数$\lambda =0.1$：

L2正则化惩罚项：

$$-2\eta\lambda w_t = -2 \times 0.01 \times 0.1 \times \begin{bmatrix} 2.5 \ -1.2 \ 0.8 \ 0.05 \end{bmatrix}

\begin{bmatrix} -0.005 \ 0.0024 \ -0.0016 \ -0.0001 \end{bmatrix}$$

L1正则化惩罚项：

$$-\eta\lambda \cdot \text{sign}(w_t) = -0.01 \times 0.1 \times \begin{bmatrix} 1 \ -1 \ 1 \ 1 \end{bmatrix}

\begin{bmatrix} -0.001 \ 0.001 \ -0.001 \ -0.001 \end{bmatrix}$$

两种正则化的效果比较

1. L2正则化效果：

   • 参数更新公式中包含因子 $(1-2\eta \lambda )$，相当于在每次迭代中对权重进行了比例缩减
   • 惩罚大小与参数值成正比：参数越大，受到的惩罚越大
   • 对于示例中的 $w_1=2.5$，L2惩罚为 $-0.005$，相对值为 $0.005/2.5=0.2$
   • 对于示例中的 $w_4=0.05$，L2惩罚为 $-0.0001$，相对值为 $0.0001/0.05=0.2$

2. L1正则化效果：

   • 施加固定大小的惩罚，方向与参数符号相反
   • 对所有非零参数的惩罚绝对值相同：都是 $\eta \lambda =0.001$
   • 对于示例中的 $w_1=2.5$，L1惩罚为 $-0.001$，相对值为 $0.001/2.5=0.04$
   • 对于示例中的 $w_4=0.05$，L1惩罚为 $-0.001$，相对值为 $0.001/0.05=2$