编码概念 - 信息与熵

背景

信息和熵是信息理论中的两个关键概念，由克劳德·香农（Claude Shannon）在20世纪中期首次提出。这些概念用于描述和量化信息的传输、存储和处理。

信息（Information）

信息是一个事件或消息的度量，用于衡量某些不确定性的减少。通常用信息论中的基本单位“比特”（bit）来度量信息量。一个比特表示一个二进制选择，例如0或1。如果一个事件是确定的，那么传递关于该事件的信息将不产生信息。但是，如果事件是不确定的或罕见的，那么传递关于该事件的信息就会增加。典型的信息量计算公式是：
$$I(x)=-$$