【机器学习理论】信息熵

熵可以理解为信息量，而信息量又可以理解为随机性。若不确定性越大，则信息量越大，熵越大；若不确定性越小，则信息量越小，熵越小。

熵的计算公式：

一个系统越是有序，信息熵就越低；一个系统越是混乱，信息熵就越高。