5、计算机科学与复杂性理论基础：概率、复杂度与相关问题解析

计算机科学与复杂性理论基础：概率、复杂度与相关问题解析

1. 概率理论基础

随机概念在算法学、复杂性理论和密码学中至关重要。为了用数学术语讨论密码系统的完美保密性以及引入随机算法和概率复杂性类，我们需要了解一些初等概率理论的概念。
- 有限概率空间 ：只考虑有限概率空间，它由有限个基本事件集合 (E = {e_1, e_2, \ldots, e_k}) 确定，每个基本事件 (e_i) 被赋予一个概率 (p_i = Pr(e_i))，且 (\sum_{i = 1}^{k} p_i = 1)。例如，随机算法的随机选择会影响计算结果，每个 (e_i) 就是随机实验的可能结果之一。
- 概率分布 ：给基本事件分配概率的过程称为概率分布。如果所有事件发生的概率相同（即对于 (1 \leq i \leq k)，(p_i = 1/k)），则得到均匀分布。概率分配可以从基本事件 (e_i) 扩展到 (E) 的任何子集 (E’\subseteq E)，定义 (Pr(E’) = \sum_{e_i\in E’} p_i)，这样的子集 (E’) 称为一个事件。在均匀分布下，(Pr(E’) = \frac{|E’|}{|E|}) 就是“好”情况的数量与“所有”情况数量的比值。
- 概率函数的基本性质 ：
1. (0 \leq Pr(E’) \leq 1)，其中 (Pr(\varnothing) = 0) 且 (Pr(E) = 1)。
2. (Pr(E’) = 1 - Pr(\overline{E’}))，其中 (\overline{E’} = E - E’) 是 (E’) 的互补事