8、信息理论、科学与数学理论及二进制数学基础

信息理论、科学与数学理论及二进制数学基础

在信息安全和科学研究领域，算法的保密性、信息熵的度量、科学与数学理论的定义以及二进制数学等内容都是非常重要的基础概念。下面将为大家详细介绍这些内容。

算法保密性与信息熵

在信息加密领域，算法的保密性和有效性至关重要。有些算法被“保密”，不接受同行评审。例如，有人生成号称无法破解的密码文本，挑战人们去破解，但该密码文本在随机性测试中表现不佳，说明其安全性较弱。

不过，美国国家安全局（NSA）将算法分为两类。一类是Suite B算法，这类算法是公开的，像高级加密标准（AES）就属于此类，大家可以通过多种渠道了解其详细信息。另一类是Suite A算法，它们属于机密信息，不对外公布。虽然这似乎违背了柯克霍夫斯原则和同行评审精神，但NSA拥有大量数学家，能够通过内部人员对算法进行全面的同行评审。

在信息熵的度量方面，有多种不同的方法：
- 哈特利熵（Hartley entropy） ：由拉尔夫·哈特利于1928年提出，也被称为哈特利函数。如果从有限集A中随机选取一个样本，在知道结果后所揭示的信息可以用哈特利函数表示：$H_0(A)=\log_b|A|$ 。其中，$H_0(A)$ 是集合A的不确定性度量，$|A|$ 是集合A的基数。若对数的底数为2，不确定性的单位称为香农（Shannon）；若使用自然对数，单位为奈特（nat）；若使用以10为底的对数，单位则称为哈特利（Hartley）。哈特利熵通常是对熵的较大估计，因此常被称为最大熵。
- 最小熵（min-entropy） ：该度量倾向于得出较小的信息熵值，且从不大于标准香农熵。其公式