3、机器学习中的数学基础：线性代数与微积分

机器学习中的数学基础：线性代数与微积分

1. 机器学习中的范数应用

在机器学习里，l2 和 l1 范数有着广泛用途。比如线性回归中所用的最小二乘成本函数，它其实就是误差向量的 l2 范数，也就是实际目标值向量与预测目标值向量的差值。

为了防止模型过拟合，我们常常需要对模型进行正则化处理。一般的做法是在模型的成本函数中添加模型参数向量的 l2 范数或 l1 范数的平方作为惩罚项。当使用参数向量的 l2 范数进行正则化时，这被称作岭（Ridge）正则化；若使用 l1 范数，则被称为套索（Lasso）正则化。

2. 矩阵的伪逆

对于方程 Ax = b，其中 A ∈ Rn×n，b ∈ Rn×1，若 A 非奇异且其逆矩阵存在，那么可以通过 x = A⁻¹b 来求解 x。

然而，当 A ∈ Rm×n（即 A 为矩形矩阵且 m > n）时，A 的逆矩阵不存在，此时就无法用上述方法求解 x。不过，我们可以得到一个最优解 x* = (ATA)⁻¹ATb。矩阵 (ATA)⁻¹AT 被称为伪逆，因为它能像逆矩阵一样提供最优解，在最小二乘法（如线性回归）中会用到这个伪逆。

3. 特定向量方向上的单位向量

特定向量方向上的单位向量，是该向量除以其模长或范数得到的。在欧几里得空间（也叫 l2 空间）中，向量 x = [3 4]T 方向上的单位向量计算如下：
[
\frac{x}{|x|}=\frac{[3\ 4]^T}{\sqrt{3^2 + 4^2}}=\frac{[3\ 4]^T}{5}=[0.6\ 0.8]^T
]

4. 向量在另一个向量方向上的投影