抄书——最优化理论与方法（6）——凸集的分离和支撑

以下内容主要抄自抄袁亚湘的《最优化理论与方法》的 1.3.3 凸集的分离和支撑

---

凸集的分离和支撑是研究最优性条件的重要工具。我们首先讨论闭凸集外一点与闭凸集的极小距离。
定理 1.3.17
设 $S\in R^n$ 是非空闭凸集，$y\notin S$，则存在唯一的点 $\bar{x}\in S$，它与 $y$ 距离最短。进一步，$\bar{x}$ 与 $y$ 距离最短的充要条件是
$$(x-\bar{x}{)}^T(\bar{x}-y)\ge 0,\forall x\in S(1.3.12)$$
证明：
设
inf⁡{∥y−x∥ ∣x∈S}=γ>0(1.3.13) \inf \{ \Vert y-x\Vert\ \vert x\in S\}=\gamma\gt 0\qquad(1.3.13) inf{∥y−x∥ ∣x∈S}=γ>0(1.3.13)
存在一个序列 {xk}⊂S\{x_k\}\subset S{xk​}⊂S 使得 $\Vert y-x_k\Vert \to \gamma$。下面我们证明 {xk}\{x_k\}{xk​} 是 Cauchy 序列，从而存在极限 $\bar{x}\in S$。
由平行四边法则（$\Vert x+y{\Vert }^2+\Vert x-y{\Vert }^2=2(\Vert x{\Vert }^2+\Vert y{\Vert }^2)$），有
$$\begin{gathered} \Vert x_k-x_m{\Vert }^2=2\Vert x_k-y{\Vert }^2+2\Vert x_m-y{\Vert }^2-\Vert x_k+x_m-2y{\Vert }^2 \\ =2\Vert x_k-y{\Vert }^2+2\Vert x_m-y{\Vert }^2-4{\Vert \frac{x_k+x_m}{2}-y\Vert }^2(1.3.14) \end{gathered}$$
注意到 $(x_k+x_m)/2\in S$，由（1.3.13）有：
$${\Vert \frac{x_k+x_m}{2}-y\Vert }^2\ge {\gamma }^2$$
因而
$$\Vert x_k-x_m{\Vert }^2\le 2\Vert x_k-y{\Vert }^2+2\Vert x_m-y{\Vert }^2-4{\gamma }^2$$
于是，取 $k$ 和 $m$ 充分大，则
$$\Vert x_k-x_m\Vert \to 0$$
从而 {xk}\{ x_k\}{xk​} 是Cauchy序列，且有极限 $\bar{x}$。因为 $S$ 是闭的，故 $\bar{x}\in S$，这表明存在 $\bar{x}$ 使得 $\Vert y-\bar{x}\Vert =\gamma$
下面证明唯一性。假定 ${\bar{x}}^{\prime },\bar{x}\in S$ 满足
$$\Vert y-\bar{x}\Vert =\Vert y-{\bar{x}}^{\prime }\Vert =\gamma$$
由S的凸性，$(\bar{x}+{\bar{x}}^{\prime })/2\in S$。于是
$$\Vert y-\frac{\bar{x}+{\bar{x}}^{\prime }}{2}\Vert \le \frac{1}{2}\Vert y-\bar{x}\Vert +\frac{1}{2}\Vert y-{\bar{x}}^{\prime }\Vert =\gamma$$
如果严格不等号成立，则与 $\gamma$ 的定义矛盾，从而在上述不等式中，仅仅只有等号成立，从而必有
$$y-\bar{x}=\lambda (y-{\bar{x}}^{\prime }),\text{for some λ}$$
又由于 $\Vert y-\bar{x}\Vert =\Vert y-{\bar{x}}^{\prime }\Vert =\gamma$，故 $|\lambda |=1$。若 $\lambda =-1$，则有 $y=(\bar{x}+{\bar{x}}^{\prime })/2\in S$，这与 $y\notin S$ 矛盾。从而，$\lambda =1$，即 $\bar{x}={\bar{x}}^{\prime }$。唯一性得证。
最后，证明 $\bar{x}\in S$ 与 $y\notin S$ 距离最短的充要条件是 $(x-\bar{x}{)}^T(\bar{x}-y)\ge 0,\forall x\in S$。
设 $x\in S,(x-\bar{x}{)}^T(\bar{x}-y)\ge 0$。由于
$$\begin{gathered} \Vert y-x{\Vert }^2=\Vert y-\bar{x}+\bar{x}-x{\Vert }^2 \\ =\Vert y-\bar{x}{\Vert }^2+\Vert \bar{x}-x{\Vert }^2+2(\bar{x}-x{)}^T(y-\bar{x}) \end{gathered}$$
故 $\Vert y-x{\Vert }^2\ge \Vert y-\bar{x}{\Vert }^2$，从而 $\bar{x}$ 与 $y$ 有极小距离。
反之，设 $\Vert y-x{\Vert }^2\ge \Vert y-\bar{x}{\Vert }^2,\forall x\in S$。注意到 $\bar{x}+\lambda (x-\bar{x})\in S$，对充分小的 $\lambda >0$。于是，
$$\begin{gathered} \Vert y-\bar{x}-\lambda (x-\bar{x}){\Vert }^2\ge \Vert y-\bar{x}{\Vert }^2 \\ \text{and:} \\ \Vert y-\bar{x}-\lambda (x-\bar{x}){\Vert }^2=\Vert y-\bar{x}{\Vert }^2+{\lambda }^2\Vert x-\bar{x}{\Vert }^2+2\lambda (x-\bar{x}{)}^T(\bar{x}-y) \end{gathered}$$
从上面两式可得
$${\lambda }^2\Vert x-\bar{x}{\Vert }^2+2\lambda (x-\bar{x}{)}^T(\bar{x}-y)\ge 0,\text{ for enought small λ>0}$$
两边同除以 $\lambda$，并令 $\lambda \to 0$，便得结果。$\square$

---

现在，我们讨论点和凸集的分离定理，它是最基本的分离定理。
定理 1.3.8
设 $S\subset R^n$ 是非空闭凸集，$y\in R^n,y\notin S$，则存在向量 $p̸=0$ 和实数 $\alpha$，使得
$$p^{T}y>\alpha \text{ and }{p}^{T}x\le \alpha ,\forall x\in S(1.3.15)$$
即存在超平面 H={x∣ pTx=α}H=\{x\vert \ p^Tx=\alpha\}H={x∣ pTx=α} 严格分离 $y$ 和 $S$。
证明：
因为 $S$ 是闭凸集，$y\notin S$，故由定理 1.3.17 知存在唯一的与 $y$ 距离极小的点 $\bar{x}\in S$，使得
$$(x-\bar{x}{)}^T(\bar{x}-y)\ge 0,\forall x\in S$$
此即
$$-{\bar{x}}^T(y-\bar{x})\le -x^T(y-\bar{x}),\forall x\in S(1.3.16)$$
由于
$$\Vert y-\bar{x}{\Vert }^2=(y-\bar{x}{)}^T(y-\bar{x})=y^T(y-\bar{x})-{\bar{x}}^T(y-\bar{x})$$
将其代入（1.3.16）有
$$\begin{gathered} y^T(y-\bar{x})-x^T(y-\bar{x})\ge y^T(y-\bar{x})-{\bar{x}}^T(y-\bar{x})=\Vert y-\bar{x}{\Vert }^2,\forall x\in S \\ \to \text{set }p=y-\bar{x} \\ \to p^T(y-x)\ge \Vert y-\bar{x}{\Vert }^2\to p^{T}y\ge p^{T}x+\Vert y-\bar{x}{\Vert }^2,\forall x\in S \end{gathered}$$
令 α=sup⁡{pTx∣ x∈S}\alpha=\sup\{p^Tx\vert \ x\in S\}α=sup{pTx∣ x∈S}，就有 $p^{T}y>\alpha$ 和 $p^{T}x\le \alpha$ ，证毕。$\square$

---

应用上述分离定理 1.3.18，可以得到在推导线性和非线性规划最优性条件中广泛利用的 Farkas 定理。
定理 1.3.19（Farkas 定理）
设 $A\in R^{m\times n},c\in R^n$，则下列两方程组有且仅有一组有解：
$$\begin{gathered} Ax\le 0,c^{T}x>0,\text{for some x∈Rn }(1.3.17) \\ {A}^{T}y=c,y\ge 0,\text{for some y∈Rm }(1.3.18) \end{gathered}$$
证明：
假设（1.3.18）有解，即存在 $y\ge 0$，使得 $A^{T}y=c$。设 $x$ 满足 $Ax\le 0$，则因为 $y\ge 0$，有
$$c^{T}x=y^{T}Ax\le 0$$
这表明（1.3.17）无解。
再假设（1.3.18）无解，记
S={x∣ x=ATy, y≥0} S=\{x\vert \ x=A^Ty,\ y\ge 0\} S={x∣ x=ATy, y≥0}
则 $S$ 是非空闭凸集，且 $c\notin S$。由定理 1.3.18，存在 $p\in R^n$ 和 $\alpha \in R$，使得
$$p^{T}c>\alpha \text{and}{p}^{T}x\le \alpha ,\forall x\in S$$
由于 $0\in S$，故 $\alpha \ge 0$，因而 $p^{T}c>0$。又
$$\alpha \ge p^{T}x=p^T{A}^{T}y=y^{T}Ap,\forall y\ge 0$$
由于 $y\ge 0$ 可以任意大，故 $Ap\le 0$。这样我们构造了向量 $p\in R^n$，满足 $Ap\le 0$ 和 $p^{T}c>0$，从而（1.3.17）有解。$\square$

---

此处证明需注意，$x,y,Ax$ 均是矢量，所谓 $y\ge 0$ 表示 y={y1,y2,⋯ ,ym}, ∀yi≥0y=\{y_1, y_2, \cdots,y_m\},\ \forall y_i\ge 0y={y1​,y2​,⋯,ym​}, ∀yi​≥0

---

为了研究两个凸集间的分离关系，我们引入了下面的支撑超平面定义，并给出超平面支撑凸集的定理。
定义 1.3.20
设 $S\subset R^n$ 是非空集合，$p\in R^n,\bar{x}\in \partial S$，这里 $\partial S$ 表示 $S$ 的边界，
∂S={x∈Rn∣S∩Nδ(x)≠∅,(Rn∖S)∩Nδ(x)≠∅,∀δ>0} \partial S=\{x\in R^n\vert S\cap N_{\delta}(x)\neq \empty, (R^n\setminus S)\cap N_{\delta}(x)\neq \empty, \forall \delta\gt0\} ∂S={x∈Rn∣S∩Nδ​(x)̸​=∅,(Rn∖S)∩Nδ​(x)̸​=∅,∀δ>0}
其中 $N_{\delta }(x)$ 表示 $x$ 的 $\delta$ 邻域，有 Nδ(x)={y∣ ∥y−x∥&lt;δ}N_{\delta}(x)=\{y\vert \ \Vert y-x \Vert\lt \delta\}Nδ​(x)={y∣ ∥y−x∥<δ}。若有
S⊂H+={x∈S∣ pT(x−xˉ)≥0}(1.3.19) S\subset H^+=\{ x\in S\vert \ p^T(x-\bar x)\ge 0\}\qquad(1.3.19) S⊂H+={x∈S∣ pT(x−xˉ)≥0}(1.3.19)
或
S⊂H−={x∈S∣ pT(x−xˉ)≤0}(1.3.20) S\subset H^-=\{ x\in S\vert \ p^T(x-\bar x)\le 0\}\qquad(1.3.20) S⊂H−={x∈S∣ pT(x−xˉ)≤0}(1.3.20)
则称超平面 H={x∣ pT(x−xˉ)=0}H=\{x\vert \ p^T(x-\bar x)=0\}H={x∣ pT(x−xˉ)=0} 是 $S$ 在 $\bar{x}$ 处的支撑超平面。此外，若 $S\cancel{\subset }H$，则 $H$ 称为 $S$ 在 $\bar{x}$ 的正常支撑超平面。
现在，我们证明凸集在每一个边界点有一个支撑超平面。

---

$p$ 是超平面 $H$ 的法线方向，而且在 $\bar{x}$ 上可能有多个法线方向，上述只是说明了存在性，并不对唯一性进行要求。

---

定理 1.3.21
设 $S\subset R^n$ 是非空凸集，$\bar{x}\in \partial S$。那么，在 $\bar{x}$ 处存在一个超平面支撑 $S$，即存在非零向量 $p$，使得
$$p^T(x-\bar{x}),\forall x\in c|S,(1.3.21)$$
这里 $c|S$ 表示 $S$ 的闭包，c∣S={x∈Rn∣S∩Nδ(x)≠∅,∀δ&gt;0}c|S=\{ x\in R^n| S\cap N_{\delta}(x)\neq \varnothing, \forall \delta\gt 0\}c∣S={x∈Rn∣S∩Nδ​(x)̸​=∅,∀δ>0}
证明：
因为 $\bar{x}\in S$，故存在序列 {yk}⊂c∣S\{ y_k\} \cancel\subset c|S{yk​}⊂​c∣S，使得
$$y_k\to \bar{x},k\to \infty (1.3.22)$$
由定理1.3.18，对应于每一个 $y_k$，存在 $p_k\in R^n$ 且 $\Vert p_k\Vert =1$，使得
$$p_k^T{y}_k>p_k^{T}x,\forall x\in c|S(1.3.23)$$
由于 $p_k$ 有界，故存在收敛子列{pk}K\{p_k\}_{\mathcal K}{pk​}K​，其极限为 $p,\Vert p\Vert =1$。对于这个子序列，显然（1.3.23）成立。固定 $x\in c|S$，令 $k\in \mathcal{K},k\to \infty$，取极限，便得到 $p^T(x-\bar{x})\le 0$。由于这个不等式对所有 $x\in c|S$ 成立，从而结果得证。$\square$

---

利用定理 1.3.18 和 1.3.21，立即得到下面的推论。
推论 1.3.22
设 $S\subset R^n$ 是非空凸集，$\bar{x}\in S$，那么存在非零向量 $p$ 使得
$$p^T(x-\bar{x})\le 0,\forall x\in c|S(1.3.24)$$

现在，我们来讨论两个凸集的分离定理。
定义 1.3.23
设 $S_1,S_2\subset R^n$ 是非空凸集，若
$$p^{T}x\ge \alpha ,\forall x\in S_1\text{ and }{p}^{T}x\le \alpha ,\forall x\in S_2(1.3.25)$$
则称超平面 H={x∣ pTx=α}H=\{x | \ p^Tx=\alpha\}H={x∣ pTx=α} 分离 $S_1$ 和 $S_2$。此外，若 $S_1\cup S_2\cancel{\subset }H$，则称 $H$ 为正常分离 $S_1$ 和 $S_2$。若
$$p^{T}x>\alpha ,\forall x\in S_1\text{and}{p}^{T}x<\alpha ,\forall x\in S_2(1.3.26)$$
则称 $H$ 为严格分离 $S_1$ 和 $S_2$。若
$$p^{T}x\ge \alpha +\epsilon ,\forall x\in S_1\text{and}{p}^{T}x\le \alpha ,\forall x\in S_2(1.3.27)$$
则称 $H$ 为强分离 $S_1$ 和 $S_2$，其中 $\epsilon >0$。所谓强分离，应该是可以找出一些间隔的。

定理 1.3.24（两个凸集的分离定理）
设 $S_1,S_2\subset R^n$ 是非空凸集，若 $S_1\cap S_2=\varnothing$，则存在超平面分离 $S_1$ 和 $S_2$，即存在非零向量 $p\in R^n$，使得
$$p^T{x}_1\le p^T{x}_2,\forall x_1\in c|S_1,\forall x_2\in c|S_2(1.3.28)$$
证明：
设
S=S1−S2={x1−x2∣ x1∈S1,x2∈S2} S=S_1-S_2=\{ x_1-x_2 | \ x_1\in S_1, x_2\in S_2\} S=S1​−S2​={x1​−x2​∣ x1​∈S1​,x2​∈S2​}
因为 $S$ 是凸集，并且 $0\cancel{\in }S$（否则，$S_1\cap S_2̸=\varnothing$），故由推论 1.3.22 知存在非零向量 $p\in R^n$，使得
$$p^{T}x\le p^{T}0=0,\forall x\in c|S$$
这意味着
$$p^T{x}_1\le p^T{x}_2,\forall x_1\in c|S_1,\forall x_2\in c|S_2$$
证毕。$\square$

---

上述分离定理可以加强而得到强分离定理。
定理 1.3.25（两个凸集的强分离定理）
设 $S_1,S_2\subset R^n$ 是闭凸集，且 $S_1$ 有界。若 $S_1\cap S_2=\varnothing$，则存在超平面强分离 $S_1$ 和 $S_2$，即存在非零向量 $p\in R^n$ 和 $\epsilon >0$，使得
inf⁡{pTx∣x∈S1}≥ε+sup⁡{pTx∣x∈S2},(1.3.29) \inf \{p^Tx | x\in S_1\}\ge \varepsilon + \sup \{p^Tx | x\in S_2\},\qquad (1.3.29) inf{pTx∣x∈S1​}≥ε+sup{pTx∣x∈S2​},(1.3.29)
证明：
设 $S=S_1-S_2$。注意到 $S$ 是凸集，并且 $0\notin S$。我们先证明 $S$ 是闭的。设 {xk}⊂S,xk→x\{x_k\}\subset S,x_k\to x{xk​}⊂S,xk​→x。由 $S$ 的定义，$x_k=y_k-z_k,y_k\in S_1,z_k\in S_2$。由于 $S_1$ 是紧的，故存在收敛子列 {yk}K, yk→y, y∈S1, k∈K\{y_k\}_{\mathcal K},\ y_k\to y,\ y\in S_1,\ k\in\mathcal K{yk​}K​, yk​→y, y∈S1​, k∈K。由于
$$y_k-z_k\to x,y_k\to y,\text{ for }k\in \mathcal{K}$$
故有 $z_k\to z$。由于 $S_2$ 是闭的，故 $z\in S_2$，因此，
$$x=y-z,y\in S_1,z\in S_2$$
这表明 $x\in S$，从而 $S$ 是闭的。
于是由定理 1.3.18 可知，存在非零向量 $p$ 和实数 $\epsilon$，使得
$$p^{T}x\ge \epsilon ,\forall x\in S\text{ and }{p}^{T}0<\epsilon$$
因此，$\epsilon >0$，由 $S$ 的定义，我们得到
$$p^T{x}_1\ge \epsilon +p^T{x}_2,\forall x_1\in S_1,x_2\in S_2$$
从而结果得证。$\square$