机器学习之十四：相对熵（KL散度）和交叉熵

    样本间距离计算方法总结
1、熵的定义
    在讲解决策树的博文中曾经提到过熵的定义，熵是表示随机变量不确定性的度量，熵越大，则随机变量的不确定性越大。设X是一个离散随机变量，X的概率分布为：

P(X=xi)=pi,i=1,2,3...,n P ( X = x i ) = p i , i = 1 , 2 , 3... , n

$$P(X=x_i)=p_i,i=1,2,3...,n$$
则随机变量X的熵定义为：
$$H(X)=-\sum _{i=1}^n p_ilog\,p_i$$
熵只依赖与X的分布，与X的取值无关，所以X的熵记做H(p),即
$$H(p)=-\sum _{i=1}^n p_ilog\,p_i$$
2、相对熵
    相对熵又称为KL散度（Kullback-Leibler Divergence），用来衡量两个分布之间的距离。设P和Q是X取值的两个离散概率分布：
$$P(X=x_i)=p_i,i=1,2,3...,n \\ Q(X=x_i)=q_i,i=1,2,3...,n$$
则$P$对$Q$的相对熵记为$D_{KL}(P||Q):$