11、概率理论、信息论与参数估计的深度剖析

概率理论、信息论与参数估计的深度剖析

在科学研究尤其是神经科学领域，概率理论和信息论起着至关重要的作用。它们帮助我们从有限的数据中提取有价值的信息，对未知的参数进行估计和推断。下面将详细介绍信息论的基本概念以及参数估计的相关方法。

1. 信息论基础

信息论主要致力于信息的量化，其核心目标包括数据压缩以及可靠的数据存储与通信。我们可以借助人类语言来理解信息论的基本思想，常用词汇通常较短，而不常用词汇较长，并且当句子部分内容因噪声未被听清时，听者仍能推断其含义，这体现了语言的鲁棒性，也是基于信息论开发的通信系统的特性。

1.1 熵

熵是信息论中的关键概念，它用于量化预测随机变量值时的不确定性。例如，预测公平硬币抛掷结果的不确定性要高于预测第二层中随机选择的神经元类型（锥体或中间神经元）。

1.1.1 离散随机变量的熵

对于离散随机变量 (X)，其样本空间为 (\Omega_X = {x_1, \cdots, x_n})，概率密度函数为 (p(x))，熵 (H(X)) 定义为：
[H(X) = -\sum_{i=1}^{n} p(X = x_i) \log_2 p(X = x_i)]
对数的底数决定了信息熵的单位，常见的单位有比特（以 2 为底）、奈特（以 (e) 为底）和哈特利（以 10 为底）。离散随机变量的熵满足 (0 \leq H(X) \leq \log_2 n)，上界由均匀分布计算得出。对于伯努利分布，熵 (H(X) = -\theta \log_2 \theta - (1 - \theta) \log_2 (1 - \theta))，其中 (\theta = p(X = 1))，当 (