1、探索信息度量与应用的新领域

探索信息度量与应用的新领域

1 引言

在科学研究中，牛顿曾说：“我们承认自然事物的原因，不应超出足以真实解释其现象的范围。”这一观点与奥卡姆剃刀原理相呼应，即面对无差别的选择时，应选择最简单的那个。如今，基于这种客观且绝对方法的不同研究线索正汇聚成一门新兴学科，它有望成为像信息论或概率论那样的重要应用科学。接下来，我们将深入探讨这一领域中的核心概念——柯尔莫哥洛夫复杂度。

2 柯尔莫哥洛夫复杂度的基本概念

2.1 信息的直观定义

直观上，有限字符串的信息量是指在无需额外数据的情况下，能计算该字符串并使其终止的最短程序的大小（二进制位数，即比特数）。对于无限字符串，程序会不断生成元素。例如，一个由10000个1组成的长序列：

11111...1
        10,000次

它所含的信息很少，因为一个大约log 10000比特大小的程序就能输出它：

for i := 1 to 10,000
    print 1

同样，像圆周率π = 3.1415… 这样看似随机的无限十进制数字序列，也只包含少量信息，因为存在一个短程序可以永远生成其连续的数字。

2.2 柯尔莫哥洛夫复杂度的定义

这种对信息量的定义看似依赖于所使用的特定编程语言，但幸运的是，所有合理的编程语言选择都会导致对单个对象绝对信息量的量化，这种量化在一个可加常数范围内是不变的。我们将这个量称为对象的“柯