熵在计算机方向的应用（浅谈信息熵）

信息是一个很抽象的东西，吃苹果的概率是二分之一，吃香蕉的概率是二分之一，这里面包含了多少信息量，由于信息很抽象，无法直观的量化。

信息熵原先是热力学中的名词，原先含义是表示分子状态的混乱程度。

香农引用了信息熵概念，因此，便有了信息论这一门学科，信息熵表示一个事件或者变量的混乱程度（也可称为一个事件的不确定性），将信息变成可以量化的变量。

综上所述，信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。高信息度的信息熵是很低的,低信息度的熵则高。具体说来， 凡是随机事件导致的变化，都可以用信息熵的改变量这个统一的标尺来度量。

 

换一种说法：信我们可以吧信息熵理解为