8、分布式计算中的信息存储量化方法

分布式计算中的信息存储量化方法

信息存储在许多自然和人造过程的动态变化中都起着至关重要的作用，例如人类大脑网络、人工神经网络、耦合系统之间的同步、模块化机器人的协同运动以及事件间隔时间的动态变化等。然而，“信息存储”这个术语的使用往往比较宽泛，或是仅停留在定性层面，我们对信息存储如何与信息传输和修改相互作用以实现分布式计算，还缺乏深入的理解。接下来，我们将探讨量化分布式计算中信息存储的方法。

1. 信息存储的定义与视角

我们将信息存储定义为代理或变量过去的信息中可用于预测其未来的部分。在分布式计算中，信息不仅可以存储在代理内部，还可以存储在其环境中，以便后续检索。

2. 作为总信息存储的过剩熵

过剩熵（Excess Entropy）能够更广泛地涵盖所有类型的结构和记忆，它通过捕捉所有时间长度上的相关性，包括非线性效应，来衡量系统中的总信息存储。

2.1 单代理和集体过剩熵

• 单代理过剩熵 ：使用单个代理或细胞的一维状态时间序列来测量其过剩熵 $E_X$，这是对每个代理平均记忆的一种度量。从数学角度看，单个代理存储的信息可能大于单个状态的信息容量。例如，在一个基本细胞自动机（ECA）中，一个孤立的细胞最多只能存储 1 比特的信息，但在分布式计算中，细胞可以通过循环因果路径在邻居中存储额外信息，并在后续时间点从邻居那里检索这些信息。
• 集体过剩熵 ：对于一组相邻的代理（如细胞自动机中的一组相邻细胞），其平均总记忆由集体过剩熵来衡量。它是代理的二维状态时间序列的时间过剩熵，即代理的联合过去 $X(k)$ 和未来