8、优化方法与监督式机器学习概述

优化方法与监督式机器学习概述

1. 优化方法

1.1 点到半空间的距离

在计算点 $x_0$ 到半空间 $w^⊺x + b \leq 0$ 的距离时，存在两种情况：
- 当 $x_0$ 不在半空间内时，若得出 $\nu^ < 0$，此结果无效，因为它违反了对偶可行性条件。
- 当 $x_0$ 在半空间内时，$\nu^ = 0$ 且 $w^⊺x^ + b \leq 0$ 必须成立。将 $\nu^ = 0$ 代入平稳性条件，可立即得出 $x^* = x_0$ 且 $d = 0$。

总结这两种情况，点到半空间的距离公式为：
[
d =
\begin{cases}
\frac{w^⊺x_0 + b}{|w|} & \text{if } w^⊺x_0 + b \geq 0 \
0 & \text{if } w^⊺x_0 + b \leq 0
\end{cases}
]

1.2 数值优化方法

对于许多实际应用中的优化问题，基于最优性条件的解析方法并不总是能得到有用的闭式解。因此，我们需要依靠数值方法以迭代的方式得出合理的解。根据迭代中使用的信息，数值方法大致可分为零阶、一阶和二阶方法。

1.2.1 零阶方法

零阶方法仅依赖目标函数的零阶信息，即函数值 $f(x)$。通常需要为 $f(x)$ 中的所有自由变量构建坐标网格，然后使用网格搜索策略逐个检查每个点的函数值，直到找到满意的解。这种方法简单，但受维度诅咒的影响，因为网格中的点数会随着自由参数的数