Bregman散度
Bregman散度
先给出定义:
Bregman 散度就是一个函数与该函数的线性近似之间的差。
数学描述为:
d
(
x
,
y
)
=
f
(
x
)
−
(
f
(
y
)
+
<
∇
f
(
y
)
,
x
−
y
>
)
d(x, y) = f(x)-(f(y) + <\nabla f(y),\quad x-y >)
d(x,y)=f(x)−(f(y)+<∇f(y),x−y>)
为方便,我直接将我的理解手写上传:
常用Bregman散度族
参考
机器学习中的散度
Bregman 散度(Bregman divergence)和Bregman信息(Bregman information)