F-散度(F-divergence)

在概率统计中，f散度是一个函数，这个函数用来衡量两个概率密度p和q的区别，也就是衡量这两个分布多么的相同或者不同。

1.f散度的定义

p和q是同一个空间中的两个概率密度函数，它们之间的f散度可以用如下方程表示：

f函数满足两个条件：f函数是一个凸函数，并且f(1)=0。

2.f散度的特例

如果f(x)=xlogx，那就是KL散度。如果是f(x)=-logx，那就表示reverse KL散度。

3.f散度的非负性

因为f是凸函数，E(f(x))>=f(E(x))，所以

这就是为什么需要上面提到的满足的两个条件。

参考：https://en.wikipedia.org/wiki/F-divergence