14、探索智能的涌现与量化：从信息理论到生物智能启示

探索智能的涌现与量化：从信息理论到生物智能启示

1. 信息理论在神经科学中的基础应用

在分析大规模系统时，如大型舞蹈团的表演，我们能轻易察觉一些明显的全局运动模式，但更复杂的模式则需要深入剖析。这与神经科学家在鉴别神经网络行为模式时所面临的挑战类似。由于同时测量大量神经元的技术限制，计算神经科学家借助模拟神经元数据进行分析。信息理论为确认系统中是否存在有意义的交互提供了数学工具，它能验证随机变量集合中关系的存在，并且可以检测小神经元组之间的有意义交互。

1.1 形式化多样的相关性

知识的本质在于功能相关性，然而传统的相关性度量方法，如皮尔逊相关系数，在处理无自然顺序状态的领域时存在局限性。信息理论通过关注特定状态的共现频率，能够评估不同领域之间的相关性，例如视觉场景、声学序列、神经放电模式和运动序列之间的关系。以六边形和三角形模式的时间序列为例，信息理论中的互信息可以量化不同领域之间模式的相关性，互信息值越高表示相关性越强。

1.2 信息与概率

信息理论起源于香农的开创性工作，它为评估信息内容和传输提供了数学形式，在工程和科学领域都有重要应用。在通信中，信号往往代表着大量的信息，信息理论依赖于发送者和接收者的背景知识以及信号的概率分布来提高编码效率。以简单的军事通信场景为例，根据消息的概率设计高效的编码方案，如霍夫曼编码，能够减少传输的比特数。

1.2.1 熵

熵是信息理论中的一个重要概念，它表示系统的不确定性。在军事消息的例子中，通过计算每个消息的概率和对应的比特数，可以得到系统的熵。熵的取值范围从最小的零（当系统状态确定时）到最大的 log₂M（当所有状态等概率时）。