信息熵是一个非常重要的概念,可以表达数据信息量的大小。
https://blog.youkuaiyun.com/weixinhum/article/details/85064685
公式表示为:
DKL(p∥q)=∑i=1N[p(xi)logp(xi)−p(xi)logq(xi)]
D_{K L}(p \| q)=\sum_{i=1}^{N}\left[p\left(x_{i}\right) \log p\left(x_{i}\right)-p\left(x_{i}\right) \log q\left(x_{i}\right)\right]
DKL(p∥q)=i=1∑N[p(xi)logp(xi)−p(xi)logq(xi)]