凸集、凸函数与KL散度

凸集的定义是：集合C内任意两点间的线段任然包含在集合中，则此集合称为凸集。形式化的方法描述：以任意一点作为原点，对于集合内任意两点$\overrightarrow{x_1}$,$\overrightarrow{x_2}$，和任意一个处于[0,1]的实数$\theta$，都有：$$\theta \overrightarrow{x_1}+(1-\theta )\overrightarrow{x_2}\in C$$

凸函数在优化中经常用到，这因为凸函数的局部最优点就是全局最优点。因此在机器学习中，我们的优化目标通常是凸函数。凸函数的定义域是凸集，类似于凸集的性质它满足：$$f(\theta x_1+(1-\theta )x_2)\le \theta f(x_1)+(1-\theta )f(x_2)$$如下图所示：

这是一个典型的凸函数，$f(x_1)\le f(x_2)且x_1\le x_2$，所以有

$$f(x_2)\ge \theta f(x_1)+(1-\theta )f(x_2)\ge f(x_1)$$$$x_2\ge \theta x_1+(1-\theta )x_2\ge x_1$$，

所以有$$f(\theta x_1+(1-\theta )x_2)\le \theta f(x_1)+(1-\theta )f(x_2)$$

此外凸函数还有两个重要导数性质：$x_1,x_2$是定义域上任意两个值，则有：$$f(x_2)\ge f(x_1)+▽f(x)(x_2-x_1)$$

凸函数二阶导还满足：${▽}^{2}f(x)\ge 0$

我们可以通过凸函数性质来证明KL散度的非负性，KL散度表示为$$KL(p||q)=-\sum _{x}p(x)log(\frac{p(x)}{q(x)})$$表示两个分布的接近程度，越接近，KL散度越小。由于log是凸函数，所以有：

$$KL(p||q)\ge -log[\sum _{x}p(x)log\frac{p(x)}{q(x)}]=-log(\sum _{x}q(x))=0$$