理解SVM中的核函数-优快云博客

本文链接：https://blog.youkuaiyun.com/hit2015spring/article/details/73369428

本文介绍了SVM中核函数的概念及其重要性。当训练样本线性不可分时，通过核函数将数据映射到高维空间，使分类变得可能。核函数允许我们在原始空间进行计算，避免了直接在高维特征空间的复杂运算。文章强调了核函数需满足的对称性和半正定性条件，并提到其在解决实际问题中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

$\frac{hit2015spring}{晨凫追风}$

欢迎关注我的博客：http://blog.youkuaiyun.com/hit2015spring

在训练样本是线性可分的情况下，这时候直接用原始属性就能把这些特征区分开来。但是有一部分的属性就是无法在其现有属性的基础上分开，于是就要把这些属性通过 $\phi(x)$ 映射到一些高维的特征空间中,“横看成岭侧成峰”嘛，原始的 $x$ 就是横看，变换函数 $\phi(x)$ 的作用就是”侧看”。这时候需要优化的目标函数就是：

min w, b 1 2 ∥ w ∥ 2 s . t . y i (w T ϕ (x i) + b) \geq 1, i = 1, 2, 3, \dots, m

$\begin{equation} \min \limits_{w,b} \qquad \frac 1 2 \|w\|^2 \\ s.t. \qquad y_i(w^T \phi(x_i)+b)\geq 1,\qquad i=1,2,3,\cdots,m \end{equation}$

它的对偶问题就是：

max α \sum i = 1 m α i - 1 2 \sum i = 1 m \sum j = 1 m α i α j y i y j ϕ (x i) T ϕ (x j) s . t . \sum i = 1 m α i y i = 0 α i \geq 0, i = 1, 2, \dots, m

$\begin{equation} \max\limits_\alpha \qquad \sum\limits_{i=1}^m \alpha_i -\frac 1 2 \sum\limits_{i=1}^m \sum\limits_{j=1}^m \alpha_i \alpha_j y_i y_j \phi(x_i)^T\phi( x_j )\\ s.t. \qquad \sum\limits_{i=1}^m \alpha_i y_i = 0 \\\qquad \qquad \alpha_i \geq 0, \qquad i = 1,2,\cdots ,m \end{equation}$

上面式子中涉及到了计算在新的空间里面属性的内积计算，这样就带来了计算的问题，于是就引入了核函数 $\mathcal{k}<\centerdot,\centerdot>$

k (x i, x j) = ⟨ ϕ (x i), ϕ (x j) ⟩ = ϕ (x i) T ϕ (x j)

$\begin{equation} k(x_i,x_j)=\langle \phi(x_i),\phi(x_j)\rangle=\phi(x_i)^T\phi(x_j) \end{equation}$

上面的式子说明了 $x_i$ 和 $x_j$ 在特征空间的内积等于它们在原始样本空间中通过核函数计算得到。

这样就能得到下面的式子：

max α \sum i = 1 m α i - 1 2 \sum i = 1 m \sum j = 1 m α i α j y i y j k (x i, x j) s . t . \sum i = 1 m α i y i = 0 α i \geq 0, i = 1, 2, \dots, m

$\begin{equation} \max\limits_\alpha \qquad \sum\limits_{i=1}^m \alpha_i -\frac 1 2 \sum\limits_{i=1}^m \sum\limits_{j=1}^m \alpha_i \alpha_j y_i y_j \mathcal{k}(x_i,x_j)\\ s.t. \qquad \sum\limits_{i=1}^m \alpha_i y_i = 0 \\\qquad \qquad \alpha_i \geq 0, \qquad i = 1,2,\cdots ,m \end{equation}$

求解后得到的是：

f (x) = w T ϕ (x) + b = \sum i = 1 m α i y i k (x i, x) + b

$\begin{equation} f(x)=w^T \phi (x)+b \\ \qquad =\sum\limits_{i=1}^m \alpha_i y_i k(x_i, x) +b \end{equation}$

既然核函数有这样好的性质，那我们自然要去寻找到底满足什么样的条件的函数可以作为核函数：对于输入空间， $\mathcal k(,)$ 是定义在 $\mathcal X \times \mathcal X$ 上的对称函数，对于任意的数据 $D = {x_1,x_2,\cdots,x_m}$ 核矩阵K总是半正定的，此时 $\mathcal k$ 是核函数。
满足两个条件：