简简单单理解SAC中的熵

1.熵的定义

        熵（entropy）表示对一个随机变量的随机程度的度量。如果一个随机变量X的可能取值为其概率分布为，则随机变量的熵的定义为：

        信息熵公式是通过对随机变量 所有可能取值的信息量按照其发生概率进行加权求和得到的。

2.理解

        例子，对于一个抛硬币的简单二元随机变量（正面、反面），若，则比特，此时不确定性最大；若，，则，表示没有不确定性。

        画出，定义域为(0, 1]的图，

        从图中也可知当概率在中间值时，对于一个随机事件，任何一个可能的事件都会出现，不确定性就大，它们的和偏高，即熵就高。而当概率在两侧时，对于一个随机事件，概率大的事件出现的次数就多，不确定性就小，它们的和偏小，即熵就小。因此，本质上，信息熵是对随机变量不确定性的量化度量。