Jensen不等式及其应用

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。

1 Jensen不等式

Jensen不等式：已知函数$\varphi :\mathbb{R}\to \mathbb{R}$为凸函数，则有$\varphi [\text{E}(X)]\le \text{E}[\varphi (X)]$。

有时候，需要用到离散形式的Jensen不等式：{aj}\{a_j\}{aj​}是一系列非负权重，满足${\sum }_{j=1}^m{a}_j=1$，{xj}\{x_j\}{xj​}是一系列任意实数，对于凸函数$\varphi :\mathbb{R}\to \mathbb{R}$，有
$$\varphi \left(\sum _{j=1}^m{a}_j{x}_j\right)\le \sum _{j=1}^m{a}_j\varphi (x_j)$$
只需将原期望形式的Jensen不等式中的随机变量取成离散的，并令$P(X=x_j)=a_j$，即可得到上式。

2 条件Jensen不等式

将不等式两边的期望都取为条件期望的形式，不等式依然成立。

条件Jensen不等式：已知函数$\varphi :\mathbb{R}\to \mathbb{R}$为凸函数，则有$\varphi [\text{E}(X|Y)]\le \text{E}[\varphi (X)|Y]$。

来看一个应用：在$\text{Var}(X)<\infty$的条件下，利用条件Jensen不等式，可以证明$\text{Var}[\text{E}(X|Y)]\le \text{Var}(X)$。

证明如下：
$$\begin{array}{rl}& [\text{E}(X|Y)-\text{E}(X){]}^2\\ =& [\text{E}(X|Y){]}^2+[\text{E}(X){]}^2-2\text{E}(X|Y)\text{E}(X)\\ \le & \text{E}(X^2|Y)+[\text{E}(X){]}^2-2\text{E}(X|Y)\text{E}(X)\end{array}$$

两边取期望后，可得
E{{E(X∣Y)−E[E(X∣Y)]}2}(=Var[E(X∣Y)])≤E[E(X2∣Y)]+[E(X)]2−2[E(X)]2=E(X2)+[E(X)]2−2[E(X)]2=Var(X) \begin{aligned} &\text{E}\left\{\left\{\text{E}(X|Y)-\text{E}[\text{E}(X|Y)]\right\}^2\right\} \\ (= & \text{Var}[\text{E}(X|Y)])\\ \leq & \text{E}[\text{E}(X^2|Y)]+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{E}(X^2)+[\text{E}(X)]^2 - 2[\text{E}(X)]^2\\ = & \text{Var}(X) \end{aligned} (=≤==​E{{E(X∣Y)−E[E(X∣Y)]}2}Var[E(X∣Y)])E[E(X2∣Y)]+[E(X)]2−2[E(X)]2E(X2)+[E(X)]2−2[E(X)]2Var(X)​

得证。

3 Jensen不等式的应用

许许多多不等式，都可以利用Jensen不等式得出，这里整理一些例子。

3.1 套用简单函数

将$\varphi$直接取为简单的凸函数或凹函数，就可以得到许多不等式：

• $[\text{E}(X){]}^2\ge \text{E}(X^2)$
• $|\text{E}(X)|\le \text{E}|X|$；
• $\exp [\text{E}(X)]\le \text{E}[\exp (X)]$；
• $\text{E}[\log (X)]\le \log [\text{E}(X)]$；
• $\text{E}[X^{1/2}]\le [\text{E}(X){]}^{1/2}$。

3.2 Lyapunov不等式

Lyapunov不等式：对于任意$0\le p\le q$，有
$$[\text{E}(|X{|}^p){]}^{1/p}\le [\text{E}(|X{|}^q){]}^{1/q}$$

证明过程，只需利用凸函数$\varphi (x)=x^{q/p}$，和随机变量$Y=|X{|}^q$即可。

3.3 几何均值不等式

几何均值不等式（Geometric Mean Inequality）：{aj∣\{a_j|{aj​∣是一系列非负权重，满足${\sum }_{j=1}^m{a}_j=1$，{xj}\{x_j\}{xj​}是一系列任意的非负实数，则有
$$x_1^{a_1}{x}_2^{a_2}\cdots x_m^{a_m}\le \sum _{j=1}^m{a}_j{x}_j$$

证明要用到离散形式的Jensen不等式，将$\varphi$取为对数函数即可，由于对数函数是凹函数，不等式需反向。

如果取$m=2$，$a_1=a_2=\frac{1}{2}$，就是在中学阶段熟悉的$\sqrt{x_1{x}_2}\le \frac{x_1+x_2}{2}$，即几何均值小于等于代数均值。

3.4 Loeve’s $C_r$ Inequality

对于一系列的任意实数$x_j$，有
$${\left|\sum _{j=1}^m{x}_j\right|}^r\le \{\begin{array}{ll}\sum _{j=1}^m|x_j{|}^r& ,0<r\le 1\\ m^{r-1}\sum _{j=1}^m|x_j{|}^r& ,r>1\end{array}$$

当$m=2$时，记Cr=max⁡{1,2r−1}C_r=\max\{1,2^{r-1}\}Cr​=max{1,2r−1}，该不等式可写为
$$|a+b{|}^r\le C_r\left(|a{|}^r+|b{|}^r\right)$$
因此也叫$C_r$不等式。

证明同样需用到离散形式Jensen不等式。若$r>1$，取$a_j=1/m$，$\varphi (x)=|x{|}^r$，即可得证。若$r\le 1$，记${\sum }_{j=1}^m|x_j|=A$，取$b_j=|x_j|/A$，则$b_j\in [0,1]$，因此有$b_j\le b_j^r$，因此
$$1=\sum _{j=1}^m{b}_j\le \sum _{j=1}^m{b}_j^r=\frac{{\sum }_{j=1}^m|x_j{|}^r}{A^r}$$
再利用$|{\sum }_{j=1}^m{x}_j|\le {\sum }_{j=1}^m|x_j|=A$，即可得证。

3.5 范数不等式

范数不等式：对于$0<p\le q$，有
$${\left|\sum _{j=1}^m|x_j{|}^q\right|}^{1/q}\le {\left|\sum _{j=1}^m|x_j{|}^p\right|}^{1/p}$$

取$r=p/q\le 1$，$y_j=|x_j{|}^q$，利用上一节中的$C_r$不等式，可得
$${\left|\sum _{j=1}^m{y}_j\right|}^r\le \sum _{j=1}^m|y_j{|}^r$$
将$x_j$代回并两边取$1/p$次方即可得证。