38、线性模型与贝叶斯方法在分类和回归中的应用

线性模型与贝叶斯方法在分类和回归中的应用

1. 核逻辑回归与支持向量机

在分类问题中，核逻辑回归和支持向量机（SVM）都是重要的核线性分类器。核逻辑回归可以将分类概率表示为：
[p(c = 1|x) = \sigma\left(a^Tk(x)\right)]
其中，(N)维向量(k(x))的元素为([k(x)]_m = K(x, x_m))。这与原始的逻辑回归形式相同，只是将(x_n)替换为(k(x_n))，可以使用相同的最大似然训练算法。

支持向量机使用的目标函数更明确地鼓励良好的泛化性能。在SVM文献中，通常用(+1)和(-1)表示两个类别。对于由权重(w)和偏置(b)定义的超平面，线性判别式为：
[
w^Tx + b \begin{cases}
\geq 0, & \text{class } +1 \
< 0, & \text{class } -1
\end{cases}
]

为了使分类器更鲁棒，对于线性可分的数据，要求决策边界与数据之间有一定的间隔(\epsilon^2)，通常设(\epsilon = 1)。此时，距离决策边界最近的正类点(x_+)和负类点(x_-)分别满足：
[w^Tx_+ + b = 1]
[w^Tx_- + b = -1]

两个类别超平面之间的间隔为(\frac{2}{\sqrt{w^Tw}})，为了使间隔最大，需要最小化(w^Tw)。因此，优化问题为：
[
\begin{align }
&\text{minimize } \frac{1}{2}w^Tw \