8、信息理论、科学与数学理论及二进制数学基础

信息理论、科学与数学理论及二进制数学基础

算法的公开与保密

在算法领域，存在一种现象，有些算法被“秘密”保存，不接受同行评审。比如有人造出号称无法破解的密码，并给出密文挑战他人破解，但该密文在随机测试中表现不佳，说明其很脆弱。

不过，也有公开算法的例外情况。美国国家安全局（NSA）将算法分为两类：
- Suite B ：这类算法是公开的，像高级加密标准（AES）就属于此类，其详细信息可在很多地方找到。
- Suite A ：此类算法是机密的，不对外公开。这看似违背了柯克霍夫斯原则和同行评审精神，但NSA是全球最大的数学家雇主，它可通过内部有查看机密资料权限的员工对算法进行全面的同行评审。

信息多样性：不同的熵度量

信息熵有多种度量方式，能帮助我们理解信息的不确定性。
- 哈特利熵（Hartley entropy） ：由拉尔夫·哈特利于1928年引入，也叫哈特利函数。若从有限集A中随机选一个样本，结果已知后所揭示的信息由哈特利函数给出：$H_0(A) = \log_b |A|$ 。这里$H_0(A)$是集合A的不确定性度量，$|A|$是A的基数。对数底数为2时，不确定性单位叫香农（Shannon）；用自然对数时，单位是奈特（nat）；若用底数为10的对数，信息单位叫哈特利（Hartley）。哈特利熵通常是对熵的较大估计，常被称为最大熵。
- 最小熵（min - entropy） ：该度量倾向于给出较小的信息熵值，且从不大于标准香农熵，常用于求信息熵的下限，公式为：$H_