凸集的分离和支撑

引言：凸集的分离和支撑是研究最优性条件的重要工具，这些内容在约束优化中会用到，所以这是最优化的基础。

定理1：设$S\subset {\mathbb{R}}^n$为非空闭凸集，$y\in {\mathbb{R}}^n\backslash S$,则存在唯一的$\bar{x}\in S$,使得该点到$y$的距离最小，即有：
∥ x ˉ − y ∥ = i n f { ∥ x − y ∥ : ∀ x ∈ S } \Vert \bar{x}-y\Vert=inf\left\{\Vert x-y\Vert :\forall x\in S\right\} ∥xˉ−y∥=inf{∥x−y∥:∀x∈S}
根据范数的等价性，这里的范数可以是任何一种范数.
证明：先证明其存在性，考虑单位球
B = { z ∈ R n : ∥ z ∥ ≤ 1 } B=\left\{z\in\mathbb{R}^n:\Vert z\Vert\le1\right\} B={z∈Rn:∥z∥≤1}
取足够大的正数$\beta$,使   D = S ∩ { { y } + β B } ≠ ∅   ~D=S\cap\left\{\left\{y\right\}+\beta B\right\}\neq\varnothing~  D=S∩{{y}+βB}​=∅ 
因为$S$为闭集,而   { y } + β B   ~\left\{y\right\}+\beta B~  {y}+βB 是有界闭集,所以$D$为非空有界闭凸集,于是$S$可以在$D$上的某一点取得它的最大值，在另一点取得最小值.

再证唯一性
假设存在$x,x^{\prime }\in S$,使得
$$\Vert x-y\Vert =\Vert x^{\prime }-y\Vert =r$$
其中$r$为$y$到$S$的最小距离
记$x^{\prime \prime }=\frac{1}{2}(x+x^{\prime })$
因为$x^{\prime \prime }-y=\frac{1}{2}x-\frac{1}{2}y+\frac{1}{2}{x}^{\prime }-\frac{1}{2}{y}^{\prime }$,两边同时取范数，则有
$$\Vert x^{\prime \prime }-y\Vert \le \frac{1}{2}|x-y\Vert +\frac{1}{2}|x^{\prime }-y\Vert =r$$
由于$S$是凸集,$x^{\prime \prime }$是$x,x^{\prime }\in S$的凸组合，所以$x^{\prime \prime }\in S$
而由于$r$是$y$到$S$的最小距离，故
$$\Vert x^{\prime \prime }-y\Vert =r$$
根据平行四边形定律（两对角线的平方和等于一组临边平方和的两倍），有：
$$\Vert x-x^{\prime }{\Vert }^2+4\Vert x^{\prime \prime }-y{\Vert }^2=2\Vert x-y{\Vert }^2+2\Vert x^{\prime }-y{\Vert }^2$$
由上式，我们就得到了：
$$\Vert x-x^{\prime }{\Vert }^2=2r^2+2r^2-4r^2=0$$
故有$x=x^{\prime }$,唯一性得证
注：上述的证明选自于百度百科，过程总体来说是简洁明了。
不过我个人有点疑问，上面的范数满足平行四边形法则是充要条件是由内积诱导的范数，欧式范数恰好是由内积诱导的范数，然后我们再利用范数的等价性。

定理2：设$S\subset {\mathbb{R}}^n$为非空闭凸集，$y\in {\mathbb{R}}^n\backslash S$,若有点$\bar{x}\in S$,$\bar{x}与y$距离最短的充要条件是
$$(x-\bar{x})(\bar{x}-y)\ge 0,\forall x\in S$$
证明：(充分性)    ~~   对任意的$x$,由于
$$\begin{array}{rl}\Vert y-x{\Vert }^2& =\Vert y-\bar{x}+\bar{x}-x\Vert \\ & =\Vert y-\bar{x}{\Vert }^2+\Vert \bar{x}-x{\Vert }^2+2(\bar{x}-x{)}^T(y-\bar{x})\end{array}$$
故$\Vert y-x{\Vert }^2\ge \Vert y-\bar{x}\Vert$,从而$\bar{x}$与$y$有极小距离
(必要性)    ~~   设$\Vert y-x{\Vert }^2\ge \Vert y-\bar{x}{\Vert }^2,\forall x\in S$.注意到$\bar{x}+\lambda (x-\bar{x})\in S$,
对充分小的$\lambda >0$,于是,
$$\Vert y-\bar{x}-\lambda (x-\bar{x}){\Vert }^2\ge \Vert y-\bar{x}{\Vert }^2$$
又
$$\Vert y-\bar{x}-\lambda (x-\bar{x}){\Vert }^2=\Vert y-x{\Vert }^2+{\lambda }^2\Vert x-\bar{x}{\Vert }^2+2\lambda (x-\bar{x}{)}^T(\bar{x}-y)$$
从上面两式立得
$${\lambda }^2\Vert x-\bar{x}{\Vert }^2+2\lambda (x-\bar{x}{)}^T(\bar{x}-y)\ge 0,对充分小的\lambda >0$$
两边同时除以$\lambda$,并令$\lambda \to 0$,便得结果

定理3:设$S\subset {\mathbb{R}}^n$是非空闭凸集,$y\in {\mathbb{R}}^n\backslash S,$则存在向量$p\ne 0$和实数$\alpha$,使得
$$p^{T}y>\alpha 和p^{T}x\le \alpha ,\forall x\in S$$
即存在超平面$H=\left\{x|p^{T}x=\alpha \right\}$严格分离$y$和$S$.

证明：因为$S$为闭凸集,$y\notin S$,故由定理2可知存在唯一的与$y$距离极小的点$\bar{x}\in S$,使得
$$(x-\bar{x}{)}^T(\bar{x}-y)\ge 0\forall x\in S$$
那我们不妨令$p=y-\bar{x}$,根据上式有$x^{T}p\le {\bar{x}}^{T}p$,
我们令$\alpha =p^T\bar{x}$,由于$p^{T}y-p^T\bar{x}=p^T(y-\bar{x})\ge 0$
所以我们就找到了这样的超平面且满足上述条件

定理4:(Farkas引理)    ~~   设$A\in {\mathbb{R}}^{m\times n},c\in \mathbb{R}$.则下列方程组有且仅有一组有解：
$$\begin{array}{rl}(1)& Ax\le 0,c^{T}x>0,\\ (2)& A^T=c,y\ge 0,\end{array}$$
证明：假设$(2)$有解,即存在$y\ge 0$,使得$A^{T}y=c$.设$x$满足$Ax\le 0$,则因$y\ge 0$,有
$$c^{T}x=y^{T}Ax\le 0$$
这表明$(1)$无解

再假设$(1)$无解,现证$(2)$必有解，记
$$S=x|x=A^{T}y,y\ge 0$$
则$S$是非空闭凸集，且$c\notin S$,由定理$3$可知,存在$p\in {\mathbb{R}}^n$和$\alpha \in \mathbb{R}$,使得
$$p^{T}c>\alpha 和p^{T}x\le \alpha ,\forall x\in S$$
由于$0\in S$,故$\alpha \ge 0$,因而$p^{T}c>0$.又
$$\alpha \ge p^{T}x=p^T{A}^{T}y=y^{T}Ap,\forall y\ge 0$$
由于$y\ge 0$可任意大,故$Ap\le 0$,这样我们构造了向量$p\in {\mathbb{R}}^n$,满足$Ap\le 0$和$p^{T}c>0$,从而$(1)$有解.证明完成

为了研究两个凸集间的分离关系，我们引进下面的支撑超平面定义，并给出超平面支撑凸集的定理
定义5：设$s\subset {\mathbb{R}}^n$是非空集合,$p\in {\mathbb{R}}^n,\bar{x}\in \partial S$,这里$\partial S$表示集合$S$的边界， ∂ S = { x ∈ R n ∣ S ∩ N δ ( x ) ≠ ∅ , ( R n \ S ) ∩ N δ ( x ) ≠ ∅ ,    ∀ δ > 0 } \partial S=\left\{x\in\mathbb{R}^n|S\cap N_{\delta}(x)\neq\varnothing,(\mathbb{R}^n\backslash S)\cap N_{\delta}(x)\neq\varnothing,~~\forall \delta>0\right\} ∂S={x∈Rn∣S∩Nδ​(x)​=∅,(Rn\S)∩Nδ​(x)​=∅,  ∀δ>0}
其中   N δ ( x ) = { y ∣ ∥ y − x ∥ < δ }   ~N_{\delta}(x)=\left\{y|\Vert y-x\Vert<\delta\right\}~  Nδ​(x)={y∣∥y−x∥<δ} .若有
$$S\subset H^{+}=\left\{x\in S|p^T(x-\bar{x})\ge 0\right\}$$,
或
$$S\subset H^{-}=\left\{x\in S|p^T(x-\bar{x})\le 0\right\}$$,
则称超平面$H=\left\{x|p^T(x-\bar{x})=0\right\}$是$S$在$\bar{x}$处的超平面.

定理6：设$S\subset {\mathbb{R}}^n$是非空凸集,$\bar{x}\in \partial S$.那么，在$\bar{x}$处存在一个超平面支撑$S$,即存在非零向量$p$,使得
$$p^T(x-\bar{x})\le 0,\forall x\in c|s$$
这里$c|S$表示$S$的闭包,   c ∣ S = { x ∈ R n ∣ S ∩ N δ ( x ) ≠ ∅ ,   ∀   δ > 0 }   ~c|S=\left\{x\in\mathbb{R}^n|S\cap N_{\delta}(x)\neq\varnothing,~\forall~ \delta>0\right\}~  c∣S={x∈Rn∣S∩Nδ​(x)​=∅, ∀ δ>0} 
证明：因为$\bar{x}\in \partial S$,故存在序列$y_k\not\subset c|S$,使得
$$y_k\to \bar{x},k\to \infty$$
由定理$3$,对应于每一个$y_k$,存在$p_k\in {\mathbb{R}}^n$且$\Vert p_k\Vert =1$,使得
$$p_k^T{y}_k>p_k^{T}x,\forall x\in c|S\text{\hspace{1em}(1)}$$
由于   { p k }   ~\left\{p_k\right\}~  {pk​} 有界,故存在收敛子列   { p k } K   ~\left\{p_k\right\}_K~  {pk​}K​ ,其极限为$p$,$\Vert p\Vert =1$,上面$(1)$式显然成立.
固定$x\in c|S$,令$k\in K,k\to \infty$,取极限,便得$p^T(x-\bar{x})\le 0$.
由于这个不等式对所有$x\in c|S$成立,从而结果得到.

注：利用上面的结论，我们有如下推论
推论7：设$S\subset {\mathbb{R}}^n$是非空凸集,$x\notin S$,那么存在非零向量$p$使得
$$p^T(x-\bar{x})\le 0,\forall x\in c|S$$
证明：如果$\bar{x}\notin c|S$,这就可以从定理$3$得到
如果$\bar{x}\in \partial S$,这就可以从定理$6$得到

现在，我们来讨论两个凸集的分离定理.
定义8：设$S_1,S_2\in {\mathbb{R}}^n$是非空凸集，若
$$p^{T}x\ge \alpha ,\forall x\in S_1和p^{T}x\le \alpha ,\forall x\in S_2$$
则称超平面$H=\left\{x|p^{T}x=\alpha \right\}$分离$S_1$和$S_2$.
此外,若$S_1\cup S_2\not\subset H$，则$H$称为正常分离$S_1$和$S_2$.
若$$p^{T}x>\alpha ,\forall x\in S_1和p^{T}x<\alpha ,\forall x\in S_2$$
则称$H$严格分离$S_1$和$S_2$.
若
$$p^{T}x\ge \alpha +ϵ,\forall x\in S_1和p^{T}x\le \alpha ,\forall x\in S_2$$
则称$H$强分离$S_1$和$S_2$,其中$ϵ>0$.

定理9：(两个凸集的分离定理)    ~~   设$S_1,S_2\in {\mathbb{R}}^n$是非空闭凸集,若$S_1\cap S_2\ne \varnothing$,则存在超平面分离$S_1和S_2$,即存在非零向量$p\in {\mathbb{R}}^n$,使得
$$p^T{x}_1\le p^T{x}_2,\forall x_1\in c|S_1,\forall x_2\in c|S_2$$
证明：设
S = S 1 − S 2 = { x 1 − x 2 ∣ x 1 ∈ S 1 , x 2 ∈ S 2 } S=S_1-S_2=\left\{x_1-x_2|x_1\in S_1,x_2\in S_2\right\} S=S1​−S2​={x1​−x2​∣x1​∈S1​,x2​∈S2​}
因为$S$是凸集(这个我不再证明了，我在优快云的一篇文章，凸集与凸函数会有证明)
并且$0\notin S$,由前面的推论$7$,我们知存在非零向量$p\in {\mathbb{R}}^n$,使得
$$p^{T}x\le p^{T}0=0,\forall x\in c|S$$
这就意味着
$$p^T{x}_1\le p^T{x}_2,\forall x_1\in c|S_1，\forall x_2\in c|S_2$$
于是结论得到 .

其实上面的分离定理可以加强而得到强分离定理
定理10：(两个凸集的强分离定理)    ~~   设$S_1和S_2$是闭凸集，且$S_1$有界，若$S_1\cap S_2\ne \varnothing$,则存在超平面分离$S_1和S_2$,即存在非零向量$p\in {\mathbb{R}}^n和ϵ>0$,使得
$$inf\left\{p^{T}x|x\in S_1\right\}\ge ϵ+sup\left\{p^{T}x|x\in S_2\right\}$$
证明：设$S=S_1-S_2$.注意到$S$为凸集,并且$0\notin S$.
我们先证明$S$是闭的   ~  (由泛函分析的知识，这个是显然的)
于是，由定理$3$可知，存在非零向量$p$和实数$ϵ$,使得
$$p^{T}x\ge ϵ,\forall x\in S和p^{T}0<ϵ$$
因此，$ϵ>0$,由$S$的定义，我们得到
$$p^T{x}_1\ge ϵ+p^T{x}_2,\forall x_1\in S_1,x_2\in S_2$$
从而得到结果


注：以上的内容都是我百度或者从书籍上整理而来，证明的过程之前也多次看过，大致过程并不复杂，此次再写，当然主要是记录自己的学习情况，留待以后回首吧。
那我主要说一下上面证明应该注意的地方吧，就是非空凸集和非空闭凸集的区别，比如在表明点与凸集分离的定理$3$，我们是要求非空闭凸集，而在表明支撑超平面的定理$6$,我们要求的是非空凸集.这两个定理既是相互联系又是有所区别。