23、支持向量机与核方法：原理、技巧与应用

支持向量机与核方法：原理、技巧与应用

1. 支持向量机相关练习

1.1 硬SVM规则等价性证明

硬SVM规则可以表示为：
[
\underset{(w,b):\left\lVert w\right\rVert = 1}{\text{argmax}}\underset{i\in[m]}{\text{min}}\left|\left\langle w,x_i\right\rangle + b\right|\text{ s.t. }\forall i,y_i(\left\langle w,x_i\right\rangle + b)>0
]
它等价于以下形式：
[
\underset{(w,b):\left\lVert w\right\rVert = 1}{\text{argmax}}\underset{i\in[m]}{\text{min}}y_i(\left\langle w,x_i\right\rangle + b)
]
证明步骤如下：
1. 证明 (\underset{(w,b):\left\lVert w\right\rVert = 1}{\text{argmax}}\underset{i\in[m]}{\text{min}}y_i(\left\langle w,x_i\right\rangle + b)\in G)，其中 (G = {(w,b):\forall i,y_i(\left\langle w,x_i\right\rangle + b)>0})。
2. 证明 (\forall(w,b)\in G)，(\underset{i\in[m]}{\text{min}}y_i(\le