KL散度ff

信息熵是一个非常重要的概念，可以表达数据信息量的大小。

https://blog.youkuaiyun.com/weixinhum/article/details/85064685

公式表示为：
$$D_{KL}(p\Vert q)=\sum _{i=1}^N\left[p\left(x_i\right)\log p\left(x_i\right)-p\left(x_i\right)\log q\left(x_i\right)\right]$$