CS521 Advanced Algorithm Design 学习笔记（三） Lecture 3 Large deviations bounds and applications

Lecture 3 Large deviations bounds and applications

这一节主要讨论集中不等式，即随机变量偏离平均值的概率和程度。

三个越来越强的集中不等式

马尔科夫不等式

$$Pr(X\ge kE[X])\le \frac{1}{k}$$

不过，想要导出$Pr(X<cE[X])$一类的不等式则是很难的，除非我们知道X有上界。例如，如果$X\in [0,1]$，那我们有$P[X\le cE[X]]\le \frac{1-\mu }{1-c\mu }$

切比雪夫不等式

定义方差$Var(X)=E(X-EX{)}^2={\sigma }^2$，则：
$$Pr(|X-EX|\ge k\sigma )\le \frac{1}{k^2}$$
用markov不等式即可证明切比雪夫不等式：只需代入$Y=|X-EX{|}^2$即可。

例如：负载均衡问题

把m个球分给n个桶，记$X$为第一个桶分到的球数，则$EX=\frac{m}{n}$，那么有$Pr(X>2\frac{m}{n})=Pr(|X-\frac{m}{n}|>\frac{m}{n})$.

记随机变量$Y_i=1 \text{ iff } $第i个球落在第一个桶，否则为0，那么$X=\sum_i Y_i$，$EX^2=\sum_i EY_i^2+\sum_{i,j} E[Y_i Y_j]$.根据独立性，$E[Y_i Y_j]=E[Y_i]E[Y_j]$，$EY_i=EY_i^{2=\frac{1}{n}$，从而综上有$EX}2=\frac{m}{n}+\frac{m(m-1)}{n^2}\approx \frac{m}{n}$，代入切比雪夫不等式，有：$Pr(|X-\frac{m}{n}|>\frac{m}{n})\leq \frac{n}{m}$

Large deviation bounds

根据著名的中心极限定理，在适当条件下，大量重复独立实验的结果分布最终会呈现为为正态分布：

设随机变量 $X_1,X_2,\cdots ,X_n$ 独立同分布，且具有有限的数 学期望和方差 $E\left(X_i\right)=\mu$ ， $D\left(X_i\right)={\sigma }^2\ne 0(i=1,2,\cdots ,n)$ 。记 $\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i，{\zeta }_n=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}$ ，则${\zeta }_n\to N(0,1)$.

Chernoff Bound（中心极限定理的量化版本）

If $X_1,X_2,\dots ,X_n$ are independent random variables and each $X_i\in [-1,1]$. Let ${\mu }_i=E\left[X_i\right]$ and ${\sigma }_i^2=\mathrm{var}\left[X_i\right]$. Then $X={\sum }_i{X}_i$ satisfies

$$\mathrm{Pr}[|X-\mu |>k\sigma ]\le 2\exp \left(-\frac{k^2}{4n}\right)$$

where $\mu ={\sum }_i{\mu }_i$ and ${\sigma }^2={\sum }_i{\sigma }_i^2$

这个版本的证明比较复杂而且不算本质，我们只证下面这个二值变量的版本：

Let $X_1,X_2,\dots ,X_n$ be independent 0/1-valued random variables and let $p_i=\mathbf{E}\left[X_i\right]$, where $0<p_i<1$. Then the sum $X={\sum }_{i=1}^n{X}_i$, which has mean $\mu ={\sum }_{i=1}^n{p}_i$, satisfies

$$\mathrm{Pr}[X\ge (1+\delta )\mu ]\le {\left(c_{\delta }\right)}^{\mu }$$

where $c_{\delta }$ is shorthand for $\left[\frac{e^{\delta }}{(1+\delta {)}^{(1+\delta )}}\right]$.

证明方法：指数矩法：

We introduce a positive dummy variable $t$ and observe that

$$\mathbf{E}[\exp (tX)]=\mathbf{E}\left[\exp \left(t\sum _i{X}_i\right)\right]=\mathbf{E}\left[\prod _i\exp \left(t{X}_i\right)\right]=\prod _i\mathbf{E}\left[\exp \left(t{X}_i\right)\right]$$

where the last equality holds because the $X_i$ r.v.s are independent. Now,

$$\mathbf{E}\left[\exp \left(t{X}_i\right)\right]=\left(1-p_i\right)+p_i{e}^t$$

therefore,

$$\begin{array}{r}\prod _i\mathbf{E}\left[\exp \left(t{X}_i\right)\right]=\prod _i\left[1+p_i\left(e^t-1\right)\right]\le \\ \prod _i\exp \left(p_i\left(e^t-1\right)\right)=\exp \left(\sum _i{p}_i\left(e^t-1\right)\right)=\exp \left(\mu \left(e^t-1\right)\right)\end{array}$$

as $1+x\le e^x$. Finally, apply Markov’s inequality to the random variable $\exp (tX)$, viz.

$$\begin{gathered} \mathrm{Pr}[X\ge (1+\delta )\mu ]=\mathrm{Pr}[\exp (tX)\ge \exp (t(1+\delta )\mu )] \\ \le \frac{\mathbf{E}[\exp (tX)]}{\exp (t(1+\delta )\mu )}=\frac{\exp \left(\left(e^t-1\right)\mu \right)}{\exp (t(1+\delta )\mu )} \end{gathered}$$

using lines (1) and (2) and the fact that $t$ is positive. Since $t$ is a dummy variable, we can choose any positive value we like for it. The right hand size is minimized if $t=\ln (1+\delta )$-just differentiate - and this leads to the theorem statement.

比起之前的两个集中不等式，Chernoff bound无疑是更强的，因为其给出的是指数量级的上界，而且根据中心极限定理，指数级的上界是最优的。

关于中位数

在均值之外，我们还想知道，给定[0,1]中的n个数字，我们能否通过部分采样来估计其中位数。

一个hardness的结果是：只用$o(n)$个样本是不够的——我们至少不能在1.1倍内估计中位数。

考虑一个近似的概念：找一个至少大于和小于$n/2-n/t$个数的数。思路是以一个给定大小随机采样，然后输出样本的中位数。

在基础课上我们都学过快速排序算法，它每次随机选取一个数作为pivot，然后把比它大/小的数排列到其两边。这个算法虽然期望是$O(n\log n)$，但是由于两边的大小可能差异很大，导致最坏情况很差。一个更好的办法就是通过上面的近似方法选出一个近似中位数，以这个中位数为中心做快排。这个算法的运行时间就会非常接近$O(n\log n)$了。