Bregman距离

Bregman距离

两个点$\mathbf{x}$与${\mathbf{x}}_0$之间的Bregman距离定义如下：
$$d_f({\mathbf{x},\mathbf{x}}_0)=f(\mathbf{x})-(f({\mathbf{x}}_0)+⟨\nabla f({\mathbf{x}}_0),\mathbf{x}-{\mathbf{x}}_0⟩)$$
其中$f(\cdot )$为某凸函数，$\nabla f(\cdot )$表示求导，$⟨\cdot ,\cdot ⟩$表示求内积。
注意：这个距离不满足对称性，这和一般的泛函分析中距离定义是不一样的。
  可以看出，$f({\mathbf{x}}_0)+⟨\nabla f({\mathbf{x}}_0),\mathbf{x}-{\mathbf{x}}_0⟩$实际上是函数$f(\mathbf{x})$的一阶Taylor近似，因此用一句话概括就是：$【\mathbf{x}与{\mathbf{x}}_0之间的Bregman距离d_f({\mathbf{x},\mathbf{x}}_0)实际上可以理解为函数f(\mathbf{x})与其一阶Taylor近似之差】$。这句话应该可以让人很快记住Bregman距离，虽然其未必能完全表达出Bregman距离的含义和本质。

特别地，若$f(\mathbf{x})=\Vert \mathbf{x}{\Vert }^2$，代入以上定义可得：
$$d_f({\mathbf{x},\mathbf{x}}_0)=\Vert \mathbf{x}{\Vert }^2-(\Vert {\mathbf{x}}_0{\Vert }^2+⟨2{\mathbf{x}}_0,\mathbf{x}-{\mathbf{x}}_0⟩)=\Vert \mathbf{x}-{\mathbf{x}}_0{\Vert }^2$$
也就是欧氏距离的平方。