7、机器学习中的数学基础与优化技术

机器学习中的数学基础与优化技术

1. 逻辑回归的代价函数

对所有数据点求和可得：
[
\log L = \sum_{i=1}^{m} \left[ y_i \log p_i + (1 - y_i) \log (1 - p_i) \right] + \log k
]
为了得到模型参数 $\theta$，需要最大化 $\log L$。由于最大化 $\log L$ 等同于最小化 $-\log L$，因此可以将 $-\log L$ 作为逻辑回归的代价函数并对其进行最小化。又因为 $\log k$ 是常数，所以可以去掉该项，不影响在最小值处的模型参数。若将代价函数表示为 $C(\theta)$，则有：
[
C(\theta) = - \sum_{i=1}^{m} \left[ y_i \log p_i + (1 - y_i) \log (1 - p_i) \right]
]
其中 $p_i = \frac{1}{1 + \exp(-\theta^T x_i)}$。$C(\theta)$ 是关于 $\theta$ 的凸函数，可以使用常见的优化技术对其进行最小化。

2. 超平面与线性分类器

线性分类器在某种程度上与超平面相关。学习线性分类器实际上就是学习将正类和负类分开的超平面。

在 $n$ 维向量空间中，超平面是一个 $(n - 1)$ 维的平面，它将 $n$ 维向量空间划分为两个区域。一个区域包含位于超平面上方的向量，另一个区域包含位于超平面下方的向量。在二维向量空间中，直线充当超平面；在三维向量空间中，二维平面充当超平面。

对于向量 $x \in \mathbb{R}^{n \