本文深入探讨了核函数在回归和SVM中的作用，包括其判定条件、合成规则及内部参数调整方法。通过核技巧避免高维映射的显式计算，介绍了线性核和径向基函数核的具体应用。
解释
- 各种回归/SVM当中，对输入 x x x进行高维映射 f ( x ) f(x) f(x)，内积为 f ( x i ) T f ( x j ) f(x_i)^Tf(x_j) f(xi)Tf(xj)。
- 线性回归和SVM的推断解析解表达式只与内积有关，可以不显写参数 θ \theta θ和 f ( x ) f(x) f(x)。如果直接给出和函数表达式 k ( x i , x j ) = f ( x i ) T f ( x j ) k(x_i, x_j) = f(x_i)^Tf(x_j) k(xi,xj)=f(xi)Tf(xj)，而不写出 f ( x ) f(x) f(x)，这就是核技巧。
核函数判定
给定核函数，不一定能容易看出 f ( x ) f(x) f(x)。但这并不重要，重要的是什么函数可以判定为核函数：
- 对称性： k ( x i , x j ) = k ( x j , x i ) k(x_i, x_j)=k(x_j, x_i) k(xi,xj)=k(xj,xi)
- 核参数空间可测
- Mercer 定理：核半正定。即对任意有限集合
{
x
n
}
n
=
1
N
\{x_n\}_{n=1}^N
{xn}n=1N和实数
{
a
n
}
n
=
1
N
\{a_n\}_{n=1}^N
{an}n=1N
∑ i , j k ( x i , x j ) a i a j ≥ 0 \sum_{i,j}k(x_i, x_j)a_i a_j \ge 0 i,j∑k(xi,xj)aiaj≥0
例如线性核 k ( x i , x j ) = x i T x j k(x_i, x_j)=x_i^Tx_j k(xi,xj)=xiTxj，上式左侧直接得到 ∥ ∑ i a i x i ∥ 2 2 \|\sum_{i}a_ix_i \|^2_2 ∥∑iaixi∥22
核函数合成
核函数的和、积仍然是核函数。（和容易证，积写成 ∑ \sum ∑的形式，然后动动脑筋即可）
核函数内部参数
核函数内部是可以有参数的，比如径向基函数
k
(
x
i
,
x
j
)
=
e
x
p
[
−
0.5
(
x
i
−
x
j
)
T
(
x
i
−
x
j
)
λ
2
]
k(x_i, x_j)=exp \left [ -0.5\frac{(x_i-x_j)^T(x_i-x_j)}{\lambda^2} \right]
k(xi,xj)=exp[−0.5λ2(xi−xj)T(xi−xj)]
λ
\lambda
λ可以通过最大似然得到，即
λ
^
=
arg max
λ
P
(
y
∣
x
,
θ
)
\hat \lambda = \argmax_\lambda P(y|x, \theta)
λ^=λargmaxP(y∣x,θ)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
