机器学习中的信息量与熵

 

我们在学习机器学习算法的时候经常听到自信息、互信息、条件熵、交叉熵等概念。下面为我在学习过程中总结的信息量和熵的相关概念。

信息量：度量的是一个具体事件发生所带来的信息

熵：在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望

目录

目录

信息量的相关概念有：自信息、互信息

自信息：I(X)

互信息：I(X;Y)

熵：H(X)

联合熵：H(X,Y)

条件熵：H(X|Y)

交叉熵：H(p,q)

相对熵（KL散度）：D(p||q)

信息量和熵的关系

---

---

信息量的相关概念有：自信息、互信息

• 自信息：I(X)

  • 表示一个事件发生后所带来的信息量
  • 概率p(x)越小，x出现的概率就越小，一旦出现所获得的信息量就越大

• 互信息：I(X;Y)

  • 变量间相互依赖性的量度，知道这两个变量其中一