17、计算神经科学与机器学习：原理、应用与新兴趋势

计算神经科学与机器学习：原理、应用与新兴趋势

1. 信息熵与图论在计算神经科学中的应用

信息熵是计算神经科学中的一个重要概念。在方程 8.24 中，存在一个集合 A，其中有一个独立的离散随机变量 X，对于 i = 1, …, k，X = xi 的概率为 pi。当随机变量 X 具有最小熵（即 H 值）时，观察到 X 的任何特定值的概率小于或等于 2 - H。

另一种信息熵的度量是 Rényi 熵，它用于统一四个不同的熵公式：Hartley 熵、Shannon 熵、碰撞熵和最小熵，如方程 8.25 所示：
[H_{\alpha}(X) = \frac{1}{1 - \alpha} \log_2 \left( \sum_{i = 1}^{n} p_i^{\alpha} \right)]
在方程 8.25 中，X 表示一个离散随机变量，可能的结果为 (1, 2, …, n)，概率为 pi，i = 1 到 n。除非另有说明，对数以 2 为底，阶数 α 满足 0 < α < 1。碰撞熵是 α = 2 时的 Rényi 熵的特殊情况，且不使用以 2 为底的对数。

这些信息理论公式可用于更好地理解网络图。信息熵可以作为网络中两个顶点之间的关联函数，也可用于对边或弧进行加权。了解信息流的数量和多样性有助于更深入地理解网络数据流。

下面是信息熵相关概念的总结表格：
| 熵类型 | 特点 | 公式 |
| ---- | ---- | ---- |
| 最小熵 | 观察到随机变量特定值的概率限制 | 观察到 X 特定值概率 ≤ 2 - H |
| Rényi 熵 | 统一多种熵公式 | (H_{\alpha}(X