线性可分支持向量机最大间隔唯一性证明

线性可分支持向量机最大间隔唯一性证明

《统计学习方法》定理7.1中 唯一性的证明：

假设问题(7.13)~(7.14)存在两个最优解($w^*_1, b^*_1$)和($w^*_2, b^*_2$)，则 $w^*_1和w^*_2$的长度相同，即 $||w^*_1||=||w^*_2||=c$，其中c是一个常数。令 $w=\dfrac{w^*_1+w^*_2}{2}$，$b=\dfrac{b^*_1+b^*_2}{2}$，将($w^*_1, b^*_1$)和($w^*_2, b^*_2$)分别带入到式(7.14) $y_i(w\cdot x_i+b)-1 \gt=0$，有$y_i(w^*_1\cdot x_i+b^*_1)-1 \gt=0$和$y_i(w^*_2\cdot x_i+b^*_2)-1 \gt=0$，
两式相加除以2，就有$y_i(\dfrac{w^*_1+w^*_2}{2}\cdot x_i+\dfrac{b^*_1+b^*_2}{2})-1 \gt=0$。所以，(w, b)是问题(7.13)~(7.14)的可行解，从而有

$$c\le ||w||\le \dfrac{1}{2}||w^*_1||+\dfrac{1}{2}||w^*_2||=c$$
上式表明，$||w||= \dfrac{1}{2}||w^*_1||+\dfrac{1}{2}||w^*_2||=c$，如果有$w^*_1=\lambda w^*_2$，则式$||w||= \dfrac{1}{2}||w^*_1||+\dfrac{1}{2}||w^*_2||$会等价于$\dfrac{|\lambda+1| \cdot ||w^*_2||}{2}= \dfrac{|\lambda|}{2}||w^*_2||+\dfrac{1}{2}||w^*_2||$，又因为$w^*_1和w^*_2$要满足式(7.13)使$||w||^2$最小，所以$\lambda=1$，即$w^*_1=w^*_2$。
由此两个最优解($w^*_1, b^*_1$)和($w^*_2, b^*_2$)可以写为($w^*, b^*_1$)和($w^*, b^*_2$)。

再证$b^*_1=b^*_2$：
设$x'_1和x'_2$是集合$\{x_i|y_i=+1\}$中分别对应于($w^*, b^*_1$)和($w^*, b^*_2$)使得问题(7.14)的不等式等号成立的点，$x''_1和x''_2$是集合$\{x_i|y_i=-1\}$中分别对应于($w^*, b^*_1$)和($w^*, b^*_2$)使得问题(7.14)的不等式等号成立的点，则有方程组
(1) $1 \cdot (w^*\cdot x'_1+b_1)-1 = 0$
(2) $1 \cdot (w^*\cdot x'_2+b_2)-1 = 0$
(3) $(-1) \cdot (w^*\cdot x''_1+b_1)-1 = 0$
(4) $(-1) \cdot (w^*\cdot x''_2+b_2)-1 = 0$
(1)-(3)，得到 $b_1=\dfrac{1}{2}(w^* \cdot x'_1+w^* \cdot x''_1)$
(2)-(4)，得到 $b_2=\dfrac{1}{2}(w^* \cdot x'_2+w^* \cdot x''_2)$
两式相减，得

$$b^*_1-b^*_2=-\dfrac{1}{2}[w^* \cdot (x'_1-x'_2)+w^* \cdot (x''_1-x''_2)]$$
又因为
$(w^*\cdot x'_2+b_1) >=1 = (w^*\cdot x'_1+b_1)$ 和
$(w^*\cdot x'_1+b_2) >=1 = (w^*\cdot x'_2+b_2)$，所以有
$w^*(x'_2-x'_1)>=0$ 和 $w^*(x'_1-x'_2)>=0$，则 $w^*(x'_1-x'_2)=0$。同理有$w^*(x''_1-x''_2)=0$
因此，$b^*_1-b^*_2=0$，即$b^*_1 = b^*_2$。
所以最优解是唯一的。