21、复杂网络的信息理论分析

复杂网络的信息理论分析

1. 熵与信息

在复杂网络的研究中，熵和信息是重要的概念。利用分布 $q = (q(1), \cdots, q(i), \cdots, q(N))$，可以定义熵测度 $H(q)$：
[H(q) = -\sum_{k = 1}^{N}q(k) \log(q(k))]
网络的熵是不确定性的一种度量，在复杂网络的情境下，它提供了网络异质性的平均度量，因为它衡量了链接分布的多样性。当 $q(i) = 1/N(\forall i = 1, \cdots, N)$ 时，熵达到最大值 $H_{max}(q) = \log N$；当 $q = (1, 0, \cdots, 0)$ 时，熵达到最小值 $H_{min}(q) = 0$。

同样，可以使用联合概率计算联合熵：
[H(q, q’) = -\sum_{k = 1}^{N}\sum_{k’ = 1}^{N}q_c(k, k’) \log q_c(k, k’)]
其中 $q_c(k, k’)$ 是联合概率，并且满足归一化条件 $\sum_{k = 1}^{N}\sum_{k’ = 1}^{N}q_c(k, k’) = 1$。联合熵考虑了所有可能的边对，提供了网络平均不确定性的度量。

给定系统的互信息 $I({q_k})$ 定义为：
[I(q) = H(q) - H_c(q|q’)]
其中 $H_c(q|q’)$ 是条件熵，涉及一组不同的条件概率 $\pi(k|k’)$，定义为：
[H_c(q|q’) = -\sum_{k = 1}^{N}\sum_{k’ = 1}^{N}q(k)\pi(k|k’) \log \pi(k|k’)]
由于条件概率