Bregman Divergence

从squared Euclidean distance (SED)说起

给定两个n维点，$x,y\in R^n$，两点之间的SED定义为：

接下来，我们引入一些notion，重新定义SED：
$<x,y>:={\sum }_{i=1}^n{x}_i{y}_i$ 表示x y两点之间的inner product
$||x||:=\sqrt{<x,x>}$
于是，SED可以表示为：

我们令$f(z)=||z|{|}^2$，$f(z)$在$y$处的切线为$f(z)-||y|{|}^2=<2y,(x-y)>$，切线在$x$处的值为$||y|{|}^2+<2y,(x-y)>$。于是，$d^2(x,y)$可以理解为蓝色的线的长度。

我们希望$d^2(x,y)$是非负的。从几何角度看，这等同于函数$f$始终在其切线上方。我们要求：

上式等同于函数$f$是convex的。这说明，我们可以通过选择一个convex函数$f$来定义一种距离度量$d_f$：

这种方式定义的距离度量就是Bregman divergences，并且函数$f$的convexity属性保证了距离的非负性。

上图就是从几何角度理解KL-divergence。

Bregman divergences 性质

Bregman Divergence iff(当且仅当) The Mean is a Minimiser

定理：

解读：假设$d$:$R^n\ast R^n->R$是一个连续非负的函数，满足对于所有$X\in R^n$, $d(x,x)=0$ ，并且对于$1<=i,j<=n$， $\frac{\partial }{\partial x_i\partial x_j}d(x,y)$连续。如果对于所有随机变量$X\in R^n$，期望$E[X]$唯一最小化 $y->E[d(X,y)]$，那么一定存在严格凸和可微的函数$f:R^n->R$得到$d=d_f$。

即当且仅当期望$E[X]$唯一最小化 $y->E[d(X,y)]$时，$d$是Bregman Divergence

参考文献

Meet the Bregman Divergences
Bregman 散度（Bregman divergence）和Bregman信息（Bregman information）