凸壳与线性可分

本篇博客是对[1]中习题2.3的证明。首先给出凸壳与线性可分的定义：

凸壳

定义1：设集合$S\subset{R^n}$，是由$R^n$中的$k$个点所组成的集合，即$S=\{x_{1},x_{2},\cdots,x_{k}\}$。定义$S$的凸壳$conv(S)$为：

$$conv(S)=\left\{x=\sum_{i=1}^{k}\lambda_{i}x_{i}\bigg|\sum_{i=1}^{k}\lambda_{i}=1,\lambda_{i}\geq0,i=1,2,\cdots,k\right\}$$
注：看懂定义忽略该段，对这个定义进行一个小提示，首先凸壳是一个集合，对于所有可能的$\lambda_{i},i=1,2,\cdots,k$只要满足$\sum_{i=1}^{k}\lambda_{i}=1$，那么$x=\sum_{i=1}^{k}$即为凸壳中的元素。凸壳可以用二维的图形可以表示如下

线性可分

定义2：给定一个数据集

$$T=\{(x_{1},y_{1}),(x_{2},y_{2},\cdots,(x_{n},y_{n}))\}$$ 其中$x_{i}\in\mathcal{X}=R_{n}$，$y_{i}\in\mathcal{Y}=\{+1,-1\}$，$i=1,2,\cdots,n$，如果存在某个超平面S： $$w\cdot x+b=0$$ 能够讲数据集的正实例点和负实例点完全正确地划分到超平面的两侧，即对所有的正例点即$y_{i}=+1$的实例$i$，有$w\cdot x_{i}+b>0$，对所有的负实例点即$y_{i}=-1$的实例$i$，有$w\cdot x_{i}+b<0$，则称数据集$T$为线性可分数据集；否则，称数据集$T$线性不可分。

=====================================================

定理

样本集线性可分的充分必要条件使正实例点集构成的凸壳与负实例点集所构成的凸壳互不相交。

必要性：线性可分->凸壳不相交

设数据集$T$中的正例点集为$S_{+}$，$S_{+}$的凸壳为$conv(S_{+})$，负实例点集为$S_{-}$，$S_{-}$的凸壳为$conv(S_{-})$，若$T$是线性可分的，则存在一个超平面:

$$w\cdot x +b =0$$ 能够将$S_{+}$和$S_{-}$完全分离。假设对于所有的正例点$x_{i}$，有:

$$w\cdot x_{i}+b=\varepsilon_{i}$$ 易知$\varepsilon_{i}>0,i=1,2,\cdots,|S_{+}|$。若$conv(S_{+})$和$conv(S_{-})$相交，即存在某个元素$s$，同时满足$s\in{conv(S_{+})}$和$s\in{conv(S_{-})}$。对于$conv(S_{+})$中的元素$s^{+}$有 $$w\cdot s^{+}=w\cdot \sum^{k}_{i=1}\lambda_{i}x_{i}=\sum^{k}_{i=1}\lambda_{i}(\varepsilon_{i}-b)=\sum^{k}_{i=1}\lambda_{i}\varepsilon_{i}-b$$ 因此$w\cdot s^{+}+b=\sum^{k}_{i=1}\lambda_{i}\varepsilon_{i}>0$，同理对于$S_{+}$中的元素$s^{-}$有$w\cdot s^{+}+b=\sum^{k}_{i=1}\lambda_{i}\varepsilon_{i}<0$，那么由于$s\in{conv(S_{+})}$且$s\in{conv(S_{-})}$则$w\cdot s+b=\sum^{k}_{i=1}\lambda_{i}\varepsilon_{i}>0$且$w\cdot s+b=\sum^{k}_{i=1}\lambda_{i}\varepsilon_{i}<0$明显推出矛盾，因此$conv(S_{+})$和$conv(S_{-})$必不相交。从而推出必要性。

充分性：凸壳不相交->线性可分

设数据集$T$中的正例点集为$S_{+}$，$S_{+}$的凸壳为$conv(S_{+})$，负实例点集为$S_{-}$，$S_{-}$的凸壳为$conv(S_{-})$，且$conv(S_{+})$与$conv(S_{-})$不相交，定义两个点$x_{1},x_{2}$的距离为

$$dist(x_{1},x_{2})=||x_{1}-x_{2}||_{2}=\sqrt {(x_{1}-x_{2})\cdot (x_{1}-x_{2})}$$ 定义$conv(S_{+})$与$conv(S_{-})$的距离为 $$dist(conv(S_{+}),conv(S_{-}))= \min||s_{+}-s_{-}||， s_{+}\in conv(S_{+}),s_{-}\in conv(S_{-})$$
设$x_{+}\in conv(S_{+})$，$x_{-}\in conv(S_{-})$且$dist(x_{+},x_{-})=dist(conv(S_{+}),conv(S_{-}))$。则对于任意正例点$x$有$dist(x,x_{-})\geq dist(x_{+},x_{-})$。同理，对于所有的负例点$x$有$dist(x,x_{+})\geq dist(x,x_{-})$。存在超平面 $$w\cdot x+b=0$$ 其中
$$\begin{aligned} w&=x_{+}-x_{-}\\ b&=-\frac{x_{+}\cdot x_{+} - x_{-}\cdot x_{-}}{2} \end{aligned}$$
则对于所有的正例点$x$(易知$w\cdot x_{+} +b>0$，因此若$x_{+}$属于正例点，则令$x\neq x$)，
$$\begin{aligned} w\cdot x +b &=(x_{+}-x_{-})\cdot x-\frac{x_{+}\cdot x_{+} - x_{-}\cdot x_{-}}{2}\\ &=x_{+}\cdot x -x_{-}\cdot x - \frac{x_{+}\cdot x_{+}-x_{-}\cdot x_{-}}{2}\\ &=\frac{||x_{-}-x||_{2}^{2}-||x_{+}-x||_{2}^{2}}{2}\\ &=\frac{dist(x,x_{-})^2-dist(x,x_{+})^2}{2} \end{aligned}$$
若$dist(x,x_{-})\leq dist(x,x_{+})$，则$dist(x,x_{-})\leq dist(x,x_{+}) \leq dist(x_{-},x_{+})$，那么$dist(S_{+},S_{-})< dist(x_{+},x_{-})$(注：证明过程见下方)，推出矛盾。因此对所有的正例点，$w\cdot x +b >0$成立。同理，对所有的负例点，$w\cdot x +b <0$成立。至此，充分性得证。

补充：用反正法证明$dist(x,x_{-})> dist(x,x_{+})$
证明：若$dist(x,x_{-})\leq dist(x,x_{+})$，则存在$t=\frac{(x_{-}-x_{+})\cdot (x-x_{+})}{||x-x_{+}||_{2}^{2}}$，令$x^{'}=tx+(1-t)x_{+}$，则$(x_{-}-x^{'})\cdot (x_{+}-x)=0$。易知$t\leq 1$先证明$0<t$，我们可以将$x,x_{+},x_{-}$看作是空间中三个不同的点，三条边的长度分别为$dist(x,x_{+}),dist(x,x_{-}),dist(x_{-},x_{+})$有上文知$dist(x,x_{+})\geq dist(x,x_{-})\geq dist(x_{-},x_{+})$根据三角形的大边对应大角这一特性，很容易可以看出$x_{+}-x$与$x_{+}-x_{-}$之间的夹角小于90度，因此$t>0$。那么$dist(x^{'},x_{-})<dist(x_{+},x_{-})$，有因为$x^{'}$必在$conv(S_{+})$内部，所以推出矛盾。

[1]:李航. 统计学习方法[M]. 清华大学出版社, 2012.