12、构建优质训练数据集：数据预处理

构建优质训练数据集：数据预处理

1. L1和L2正则化：应对模型复杂度

在机器学习中，为了降低模型的复杂度，避免过拟合，常常会使用正则化方法。其中，L2正则化是一种常见的手段，它通过对较大的单个权重进行惩罚来减少模型的复杂度。L2范数的平方定义如下：
[
L2: |w| 2^2 = \sum {j = 1}^{m} w_j^2
]

另一种降低模型复杂度的方法是L1正则化，其定义为：
[
L1: |w| 1 = \sum {j = 1}^{m} |w_j|
]
L1正则化与L2正则化的主要区别在于，L1正则化通常会产生稀疏的特征向量，即大部分特征权重为零。这种稀疏性在处理高维数据集时非常有用，特别是当数据集中存在大量无关特征时，L1正则化可以被看作是一种特征选择技术。

2. L2正则化的几何解释

L2正则化通过在代价函数中添加一个惩罚项，使得权重值不会变得过于极端。为了更好地理解这一点，我们可以从几何角度进行解释。假设我们有一个凸代价函数，其轮廓是关于两个权重系数 ( w_1 ) 和 ( w_2 ) 的。我们的目标是找到一组权重系数，使得代价函数在训练数据上的值最小。

正则化可以看作是在代价函数中添加一个惩罚项，鼓励权重值变小。通过增加正则化参数 ( \lambda )，我们可以将权重值向零收缩，从而减少模型对训练数据的依赖。

L2正则化项可以用一个阴影球来表示，权重系数的组合不能超出这个阴影区域。在惩罚约束下，我们的目标是找到L2球与未惩罚代价函数轮廓的交点，使得代价函数最小。正则化参数 ( \lambda ) 越大