文科生也能看懂，什么是熵

一、1分钟了解

一句话解释，熵（shāng ）就是描述一个孤立系统混乱程度的值。

通俗来讲可以这么理解：不确定性越大，熵就越大。

 

二、扩展

混乱程度和不确定性如何联系？

想象你去一片山坡放三只羊，为了方便解释，我们把山坡划分为9块。

一开始，你把三只羊全部拴在左下角，这个时候，羊全部老老实实呆在这一格，整个山坡+羊的系统是固定的，当你来找羊的时候，直接去左下角这一格，羊百分百在这。这就是初始熵很小的状态。

当然，放羊嘛，不能一直拴着不动，你打算好好放放羊，但是担心它们乱跑，就用一根绳子把它们三个连着，这个时候可能如下图，羊分散了，你只知道三只羊是相邻的，但是不知道他们会在哪一格，这个时候整个系统的状态稍微有点混乱了，而且羊有可能在任何一格中，但是至少你找到一只，就能在相邻的格子找到其余的羊。这个时候的熵处于中间值，羊的位置的可能性变多了，但是有一定的限制。

你觉得要释放羊的天性，干脆把绳子也解开了，这个时候羊会满山坡乱跑，如下图，这个时候任何一只羊都可能处于任何一格的位置。这个时候系统处于最混乱的状态，熵处于最大值，羊的位置的可能性也达到最大。

山坡就是一个孤立系统，羊的分布状态就是混乱程度。同时，也代表了其位置的不确定性。

把羊换成分子、文字、物种，把草地换成容器、信息、房间、宇宙，道理也是一样的。

 

不同学科中的熵

熵起源于热力学，后面也被引入到信息学、生态学等学科中，我们可以通过几个例子，你会发现它们背后的理解方式可以是一样的。

在热力学中，物理学上指热能除以温度所得的商，标志热量转化为功的程度。也用于度量一个热力学系统的无序程度。

一个典型的例子是气体的熵大于液体大于固定，也就是说水蒸气大于水大于冰，直观理解，我们想象一个独立的小房间，水蒸气可以自由在房间里飘动，无序程度最大，而水只能在地板上流动，无序程度一般，而结成冰了没法移动，无序程度最低，熵最小。

在信息学中，熵是接收的每条消息中包含的信息的平均量，可以理解为不确定性的量度，越随机的信源的熵越大。表示了信息的不确定程度,不确定性越大,信息熵也就越大。

例如，今天下雨了，我告诉你，今天下雨，信息熵就很低，因为已经是事实且你已经知道了，我告诉你没有任何影响，相当于我没传输给你任何有效信息，那么熵就约等于0。而如果我告诉你明天会下雨，这个概率是不一定的，对你是未知的，那我告诉了你这个信息，你知道了可能会带伞，就说明传输给你了信息，熵就比较大。

在生态学中熵是表示生物多样性的指标。其实直观理解也一样，假如有10只狗，你随便选一只，它都是狗，只有一种可能性是狗，那么熵就很低，而如果10只动物分别是猫、狗、老鼠等等不同的，你闭着眼睛摸一只，摸到每一只的可能性都是十分之一，相比前面情况更混乱、可能性更多，所以熵更大。

而在宇宙学中，熵只增不减，我们所处的宇宙一直在熵增状态。

想象一开始的草原，只有3乘3的9个格子，每只羊可能出现的格子有9种情况，现在草原（宇宙）膨胀到100乘100的大小，每只羊可能出现的格子情况是不是就更多了？其对应的熵也增加了。

 

熵的特性——熵增原理

熵增原理，指孤立热力学系统的熵不减少，总是增大或者不变。用来给出一个孤立系统的演化方向。在热力学中说：孤立系统自发地朝着热力学平衡方向──最大熵状态进行演化。

通俗来说，就是一个孤立系统总是会自发变得越来越混乱。

为什么？其实现在科学也没有一个很好的解释。但是我们可以通过羊群的例子这么理解，每只羊不可能一直待在一个地方吃草，总会自发地去其他的地方，整个位置状态就会越来越混乱。

 

 

 

三、趣闻

1. 1923年，德国科学家普朗克到中国讲学用到entropy这个词，胡刚复教授翻译时灵机一动，把“商”字加火旁来意译“entropy”这个字，创造了“熵”字（音读：商），因为熵是Q（热量）除以T（温度）的商数。

2. 贝尔实验室曾流传一则可信度不高的传闻：冯诺依曼建议香农为这个信息熵概念取名为“熵”，理由是这个热力学名词别人不懂，容易被唬住。

 

 

参考

• wikipedia

• 百度百科

• 汉典