机器学习的信息论基础

信息论的由来：

是应用数学的分支，主要研究的是对一个信号能够提供的信息多少进行量化，最初用于研究在一个含有噪声的信道上用离散的字母表来发送消息，指导最优的通信编码。

一个信息论的基本想法：一个不太可能发生的事件发生了要比一个非常可能的事件发生提供更多的信息，也就是‘异常’事件发生的背后拥有我们更想知道的东西。

信息熵

自信息：

一个事件所包含的信息 

信息熵：

随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大，及所描述的是有关事件X的所有可能结果的自信息期望值：

其中，n代表事件x的所有n种可能的取值，Pi代表了事件x为i时的概率。

信息熵的意义：

熵的作用：计算损失(Loss function)用于调整梯度递减的步长

本次熵(损失)比上次熵（损失）大，说明步长太大了。