凸集与凸函数：定义、证明与应用-优快云博客

本文链接：https://blog.youkuaiyun.com/dwb18505113983/article/details/121663571

凸集

设 $D\subset R^n$ ，若对任意的 $\vec X_1,\vec X_2 \in D$ , $α\in [0,1]$ 都有 $αX_1+(1-α)X_1 \in D$ ，则称D为凸集。从几何直观上将，如果集合中的任意两点的连线仍在该集合中，则这个集合为凸集。

设 $\vec X_1,\vec X_2,...,\vec X_m \in D$ , $α_1,α_2,...,α_m$ 是一组非负实数，且 $\sum_{i=1}^m α_i = 1$ ，则 $\sum_{i=1}^m α_iX_i$ 称为 $\vec X_1,\vec X_2,...,\vec X_m$ 的一个凸组合。

凸集的充要条件

D为凸集的充要条件是D中任意有限个点的凸组合仍在D中。

凸集的充要条件证明

充分性不证自明，有限个点就涵盖了两个点

所以只需证必要性

通过简单的对凸组合点的个数进行数学归纳法即可证明。

1° 当凸组合点的个数为2时，显然成立.

2° 假设任意不多于k个点的凸组合仍在D中，考察任意k+1个点的凸组合。

任选一个，凸组合为 $\sum_{i=1}^{k+1} α_i\vec X_i$ 。

如果 $α_{k+1} = 1$ 显然成立。当 $\lt α_{k+1} \lt 1$ 时，令 $α'_i = α_i/(1-α_{k+1}), (i=1,...,k)$ ,则 $\sum_{i=1}^k α'_i = 1$ ，则 $\vec X'=\sum_{i=1}^k α'_i\vec X_i \in D$ , 所以 $α_{k+1}\vec X_{k+1} + (1 - α_{k+1})\vec X' \in D$ , 所以 $\sum_{i=1}^{k+1} α_i\vec X_i \in D$

综合 1° 2°，必要性成立。

凸函数

设 $\subset R^n \to R$ , D是凸集，若对任意的 $\vec X_1,\vec X_2 \in D$ , $α\in (0,1)$ ，都有 $\vec X_1+(1-α)\vec X_2)\leq α f(\vec X_1)+(1-α)f(\vec X_2)$ 则称f为D上的凸函数。

函数是凸函数的充要条件

(a) 对任意的 $\vec X_1,\vec X_2,...,\vec X_m \in D, α_i\ge 0 (m\ge 2)$ ,满足 $\sum_{1}^m α_i =1$ , 都有 $f(\sum_1^m α_i\vec X_i)\le \sum_1^m α_if(\vec X_i)$ ；

(b) $f(\vec x)$ 在D可微时，对任意 $\vec X_1,\vec X_2 \in D$ ，都有 $f(\vec X_2) \geq f(\vec X_1)+ (\nabla f(\vec X_1))^T(\vec X_1-\vec X_2)$ ；

a的证明

充分性不证自明，所以只需证必要性
通过简单的对m进行数学归纳法即可证明。

1° 当m=2时，显然成立.

2° 假设m<=k时， $f(\sum_1^m α_i\vec X_i)\le \sum_1^m α_if(\vec X_i)$ 。考察m=k+1时，

令 $α'_i = α_i/(1-α_{k+1}), (i=1,...,k)$ ,则 $\sum_{i=1}^k α'_i = 1$ ,则 $f(\sum_1^k α'_i\vec X_i)\le \sum_1^k α'_if(\vec X_i)$ , 令 $\vec X'=\sum_{i=1}^k α'_i\vec X_i \in D$ ，则
$f(\sum_1^m α_i\vec X_i) = f(α_{k+1} \vec X_{k+1}+(1-α_{k+1})\vec X')\leq α_{k+1} f(\vec X_{k+1})+(1-α_{k+1})\sum_1^k α'_if(\vec X_i) = \sum_1^m α_if(\vec X_i)$

b的证明

引理1 一维凸函数f(x)如果有导数f’(x)，那么f’(x)单调不减

引理1证明

反证法，假设存在 $x_1\lt x_2$ ,使得 $f'(x_1)>f'(x_2)$

因为f(x)是凸函数，那么对于任意 $d\in R$
$f(x+d)\le \frac12f(x) + \frac12f(x+2d)$
转换一下
$\ge f(x+d) - f(x)$
令 $(x_2-x_1)/n \gt 0$ ,

而 $\lim_{d\rightarrow 0} (f(x_1) - f(x_1 - d))/d= f'(x_1)$ , 所以当 $\gt N_1$ ,即 $d\lt d_1$ 时， $f(x_1+d) - f(x_1))/d > f'(x_1) - (f'(x_1)-f'(x_2))/2$

同样的当 $\gt N_2$ ,即 $d\lt d_2$ 时， $f(x_2) - f(x_2 - d))/d < f'(x_2) + (f'(x_1)-f'(x_2))/2$

令 $N = max\{N_1,N_2\}$ ,则
$(f(x_2) - f(x_2 - d))/d \lt \frac12 (f'(x_1) + f'(x_2)) \lt (f(x_1+d) - f(x_1))/d$
所以
$f(x_2) - f(x_2 - d) \lt f(x_1+d) - f(x_1)$
而
$f(x_2) - f(x_2 - d) \ge f(x_2 - d) - f(x_2 - 2d) \ge .... \ge f(x_2-(n-1)d) - f(x_2 - nd) = f(x_1+d) - f(x_1)$
产生矛盾所以假设不成立，引理1成立。

先证必要性

定义
$f(\vec X_1+t(\vec X_2 - \vec X_1))$
发现对任意的 $t_1,t_2 \in R, α\in (0,1)$ ,
$\begin{aligned} g(t_1+α(t_2 - t_1)) &= f(\vec X_1+(t_1+α(t_2 - t_1))(\vec X_2 - \vec X_1))\\ &= f(\vec X_1+t_1(\vec X_2 - \vec X_1)+α(t_2 - t_1)(\vec X_2 - \vec X_1))\\ & \le (1-α)f(\vec X_1+t_1(\vec X_2 - \vec X_1)) + αf(\vec X_1+t_2(\vec X_2 - \vec X_1)\\ &=(1-α)g(t_1) + αg(t_2) \end{aligned}$
所以g(t)是凸函数，而其是一维函数，所以g’(t)不减(反证)。所以
$\ge g'(0) * (1-0) = g'(0)$
而
$(\nabla f(\vec X_1+t(\vec X_2 - \vec X_1)))^T(\vec X_2 - \vec X_1)$
代入得到
$f(X_2) - f(X_1) \ge (\nabla f(\vec X_1))^T(\vec X_1-\vec X_2)$
移项一下
$f(X_2) \ge f(X_1) + (\nabla f(\vec X_1))^T(\vec X_1-\vec X_2)$
再证充分性

发现对任意的 $\vec X_1,\vec X_2 \in D, α\in (0,1)$ ,
$f(\vec X_2)\ge f(\vec X_1+α(\vec X_2-\vec X_1)) + (1-α)(\nabla f(\vec X_1+α(\vec X_2-\vec X_1))^T(\vec X_2-\vec X_1)$
$f(\vec X_1)\ge f(\vec X_1+α(\vec X_2-\vec X_1)) -α(\nabla f(\vec X_1+α(\vec X_2-\vec X_1))^T(\vec X_2-\vec X_1)$
变换一下
$\frac 1{1-α}(f(\vec X_2) - f(\vec X_1+α(\vec X_2-\vec X_1)))\ge (\nabla f(\vec X_1+α(\vec X_2-\vec X_1))^T(\vec X_2-\vec X_1) \ge \frac 1α(f(\vec X_1+α(\vec X_2-\vec X_1)) - f(\vec X_1))$
所以
$f(\vec X_1+α(\vec X_2-\vec X_1)) \ge (1-α)f(\vec X_1) + αf(\vec X_2)$

c的证明

先证必要性

定义
$f(\vec X_1+t(\vec X_2 - \vec X_1))$
g(t)是凸函数之前已经证明过了。

$(\nabla f(\vec X_1+t(\vec X_2 - \vec X_1)))^T(\vec X_2 - \vec X_1)$
因为 $f(\vec x)$ 在D上具有连续的二阶偏导数
$(\vec X_2 - \vec X_1)^T(\nabla^2 f(\vec X_1+t(\vec X_2 - \vec X_1)))^T(\vec X_2 - \vec X_1)$
因为g’(t)单调不减，所以g’’(t)>=0,所以 $(\nabla^2 f(\vec X_1+t(\vec X_2 - \vec X_1)))^T$ 半正定，取t=0，则 $(\nabla^2 f(\vec X_1))^T$ 半正定，所以对任意 $\vec X \in D$ $(\nabla^2 f(\vec X))^T$ 半正定。

必要性的另一证法
反证法，假设 $\nabla^2 f(\vec X)$ 不是半正定, 那么存在 $\vec d$ ，使得
$(\vec d)^T\nabla^2 f(\vec X)\vec d < 0$
因为 $f(\vec X)$ 在D上具有连续的二阶偏导数, 将 $f(\vec x + \vec d/N)$ 进行带拉格朗日余项的泰勒展开
$f(\vec X + \vec d/N) = f(\vec X) + (\nabla f(\vec X))^T(\vec d/N) + \frac1{2N^2} (\vec d)^T\nabla^2 f(\vec X + μ\vec d/N)^T\vec d\ \ \ \ (0\ltμ\lt1)$
因为二阶偏导数连续，令 $-(\vec d)^T\nabla^2 f(\vec X)\vec d$ ，n是 $\vec X$ 的位数, $ϵ/(n^2|\vec d|^2)$ 。存在 $δ_{i,j}\gt 0$ ,任意的 $0<|\vec d'|<δ_{i,j}$ ,都有 $|\frac {\partial^2 f(\vec X + \vec d')}{\partial x_i\partial x_j} - \frac {\partial^2 f(\vec X)}{\partial x_i\partial x_j}|<ϵ'$ , 令 $max_{1 \le i,j\le n}\{δ_{ij}\}$ , 则存在 $N_1\in N*$ ,使得 $\gt N_1$ 时， $|\vec d/N|\lt δ$

令 $\{a_{ij}\}=A = \nabla^2f(\vec X + μ\vec d/N)^T - \nabla^2f(\vec X)^T$ , 当 $\gt N_1$ 时， $|μ\vec d/N|\lt |\vec d/N|\lt δ$ , 则 $|a_{ij}|\lt ϵ'$
$|\vec d^TA\vec d| \le \sum_{1\le i,j \le n}|a_{ij}||\vec d|^2\lt n^2 ϵ' |\vec d|^2 = ϵ$
所以
$(\vec d)^T\nabla^2 f(\vec X + μ\vec d/N)^T\vec d = (\vec d)^T\nabla^2 f(\vec X)^T\vec d + (\vec d)^TA\vec d \lt -ϵ + ϵ = 0$
所以
$f(\vec X + \vec d/N) \lt f(\vec X) + (\nabla f(\vec X))^T(\vec d/N)$
与b矛盾，所以假设不成立。

再证充分性

因为 $f(\vec X)$ 在D上具有连续的二阶偏导数, 将 $f(\vec X_2)$ 在 $\vec X_1$ 进行带拉格朗日余项的泰勒展开
$f(\vec X_2) = f(\vec X_1) + (\nabla f(\vec X))^T(\vec X_2 - \vec X_1) + \frac12(\vec X_2 - \vec X_1)^T\nabla^2 f(\vec X + μ(\vec X_2 - \vec X_1))^T(\vec X_2 - \vec X_1)\ \ \ \ (0\ltμ\lt1)$
因为 $\nabla^2 f(\vec X)$ 是半正定矩阵,所以
$(\vec X_2 - \vec X_1)^T\nabla^2 f(\vec X + μ(\vec X_2 - \vec X_1))^T(\vec X_2 - \vec X_1)\ge 0$
所以
$f(\vec X_2) \ge f(\vec X_1) + (\nabla f(\vec X))^T(\vec X_2 - \vec X_1)$
根据b, $f(\vec X)$ 是凸函数。