24、支持向量机：核函数与优化算法详解

支持向量机：核函数与优化算法详解

1. 核函数概述

在构建核函数时，某些定义十分有用。然而，对于特定的函数 (K(x,z))，判断它是否为正定核函数并非易事，因为需要验证对于任意有限输入集 ({x_1,x_2,\cdots,x_m})，其对应的 Gram 矩阵是否为半正定。在实际问题中，通常会使用现有的核函数。此外，Mercer 核可由 Mercer 定理得到，并且正定核比 Mercer 核更具一般性。以下将介绍一些常见的核函数。

2. 常用核函数

• 多项式核函数
  • 表达式：(K(x,z) = (x\cdot z + 1)^p)
  • 对应的支持向量机（SVM）是 (p) 次多项式分类器。此时，分类决策函数为：
    (f(x) = sign(\sum_{i = 1}^{N_s} a_i^ y_i (x_i\cdot x + 1)^p + b^ ))
• 高斯核函数
  • 表达式：(K(x,z) = exp(-\frac{|x - z|^2}{2\sigma^2}))
  • 对应的 SVM 是高斯径向基函数分类器。分类决策函数为：
    (f(x) = sign(\sum_{i = 1}^{N_s} a_i^ y_i exp(-\frac{|x - x_i|^2}{2\sigma^2}) + b^ ))
• 字符串核函数