17、监督学习：回归与分类全解析

监督学习：回归与分类全解析

1. 监督学习中的回归问题

1.1 优化问题的解决策略

在监督学习的回归任务里，优化问题可通过两种策略来解决：
- 推导闭式解
- 梯度下降

为了理解推导闭式解的方法，我们对均方误差 (J_n) 求偏导数。对于最优参数集，误差关于每个参数的导数必须为 0。相关公式如下：
[
\frac{\partial J_n}{\partial w_j} = 2\sum_{i = 1}^{n}(y_i - \sum_{d = 0}^{n}w_{i,d}x_{i,d})x_{i,j} = 0
]
导数向量为：
[
\nabla J_n = 2\sum_{i = 1}^{n}(y_i - \sum_{d = 0}^{n}w_{i,d}x_{i,d})x_{i}^T
]

1.2 最大值与最小值

在数据中，峰值被称为最大值，全局最大值是整个数据中的最高峰值；全局最小值则是整个数据中的最低谷值。以函数 (f(z) = z^2) 为例，其导数为 (f’(z) = 2z)。当 (z = 0) 时，导数函数为 0，此点为局部最大值或局部最小值。
- 若导数大于 0，函数递增，意味着远离低谷。
- 若导数小于 0，函数递减，意味着向低谷移动。

在寻找最小值时，若假设 (z = -1)，则 (f’(-1) = -2)，函数递减并向低谷移动。增加 (z) 的值（梯度大小为 2），(z) 变为 1。但后续迭代可能会在相同两点间跳跃，可通过合适的学习率或步长解决。

1.3 梯度下降

梯度下降是