2024.01.13 过拟合解决方案之权重衰减

2024.01.13 过拟合解决方案之权重衰减

范数

线性代数中最有用的一些运算符是范数（norm）。 非正式地说，向量的范数是表示一个向量有多大。 这里考虑的大小（size）概念不涉及维度，而是分量的大小。

范数听起来很像距离的度量。 欧几里得距离和毕达哥拉斯定理中的非负性概念和三角不等式可能会给出一些启发。 事实上，欧几里得距离是一个$L_2$范数： 假设$n$维向量$\mathbf{x}$中的元素是$x_1,\dots ,x_n$，其$L_2$范数是向量元素平方和的平方根：
$$\Vert \mathbf{x}{\Vert }_2=\sqrt{\sum _{i=1}^n{x}_i^2},$$
其中，在$L_2$范数中常常省略下标2，也就是说$\Vert \mathbf{x}\Vert$等同于$\Vert \mathbf{x}{\Vert }_2$。在代码中，我们可以按如下方式计算向量的$L_2$范数。

u = torch.tensor([3.0, -4.0])
torch.norm(u)

输出：

tensor(5.)

深度学习中更经常地使用$L_2$范数的平方，也会经常遇到$L_1$范数，它表示为向量元素的绝对值之和：
$$\Vert \mathbf{x}{\Vert }_1=\sum _{i=1}^n|x_i|$$

权重衰退原理

在训练参数化机器学习模型时， 权重衰减（weight decay）是最广泛使用的正则化的技术之一， 它通常也被称为 L 2 L_2 <