59、并行计算中的任务依赖处理与数学基础

并行计算中的任务依赖处理与数学基础

1. 背包问题的分支限界法

在处理背包问题时，假设物品数量为 (n)，算法会回溯遍历一棵深度为 (n) 的二叉树，该树会枚举所有不能通过上下界排除的解。任务可以看作是这棵树的子树。通过总是分割任务中最高的未探索子树，能得到分割深度为 (n)。对于描述树中第 (k) 层的分割，只需传递一个长度为 (k) 的位向量，以指示到第 (k) 层为止所做的决策。

2. 处理任务依赖

一种通用的指定并行计算的方法是将其视为有向无环图（DAG） (G = (V, E))。任务是图中的节点，边表示依赖关系，即边 ((u, v)) 表明只有在任务 (u) 完成后才能执行任务 (v)。设 (t_v) 为任务 (v) 的执行时间，这是对独立任务模型的自然推广。

即便不考虑任务之间的数据流，如何将任务分配给处理元素（PE）也是一个有趣的问题。找到使并行执行时间（即总完成时间）最小的调度方案是一个 NP 难题。不过，任何“合理”的调度算法都能达到两倍近似解。

为了详细解释这一点，需要引入一些术语：
- 调度 (x) ：将每个任务 (j) 分配给一个处理元素 (p_j \in 1..p)，并指定一个开始时间 (s_j \geq 0)。
- 可行调度 ：满足两个条件，一是任何特定处理器上的任务执行时间不重叠（即 (\forall i, j : p_i = p_j \Rightarrow s_j \notin [s_i, s_i + t_i))），二是没有任务在准备好执行之前开始（即 (\forall j : \forall (i, j) \in E : s_j \geq s_i + t_i)）。
- 总完成时间 ：所有作业的最后完成时间，即 (\max_j(s_j + t_j))。我们的目标是找到总完成时间最小的调度方案。

总完成时间的一个简单下界是平均工作量 (\sum_j t_j / p)，另一个下界是图 (G) 中任何路径 (P) 的长度 (\sum_{j \in P} t_j)，关键路径长度是所有路径中的最大长度。

下面是一个定理：
定理 14.3 ：考虑任何在有任务准备好执行时不会让处理元素闲置的调度方案，其总完成时间至多为平均工作量加上关键路径长度，这是最优调度方案的两倍近似解。

证明 ：设 (G = (V, E)) 是调度问题，(T) 是调度方案的总完成时间。将区间 ([0, T]) 划分为（至多 (2|V|)）个区间 (I_1, \ldots, I_k)，使得作业仅在区间的开始或结束时开始或结束。如果所有 (p) 个处理器在某个区间都处于活动状态，则称该区间为忙碌区间，否则称为空闲区间。那么 (T) 是忙碌区间的总长度加上空闲区间的总长度。忙碌区间的总长度至多为 (\sum_j t_j)。对于图 (G) 中的任何路径 (P) 和任何空闲区间，由于调度方案不会让准备好的作业闲置，所以在该区间内 (P) 中必定有某个作业正在执行，或者 (P) 上的所有作业在该区间之前已经完成。因此，路径 (P) 的长度受空闲区间总长度的限制。由于平均工作量和关键路径长度都是总完成时间的下界，它们的和必然是总完成时间的两倍近似解。

更细致的分析可以得到近似比为 (2 - 1/p)，但要进一步改进似乎很困难。已知的更好界限只是增加了 (1/p) 项中的常数因子。因此，我们有理由采用上述简单的调度方案。该定理甚至在执行时间未知且图 (G) 随计算展开时也适用，只需确保空闲的处理元素能高效地找到准备好的作业。以下是几种负载均衡算法：
- 主 - 从模式 ：主节点会得知任务的完成情况。当一个任务准备好时，它会被插入到可分配给空闲处理元素的任务队列中。
- 随机静态算法 ：每个处理元素执行分配给它的准备好的作业。
- 工作窃取算法 ：多线程计算通过生成任务并等待它们完成来隐式定义计算 DAG。可以证明，随机工作窃取算法能实现渐近最优执行时间。与树形计算的结果相比，这是一个更通用的结果，但在 (T/p) 项上常数因子更差。在实践中，由于多线程计算需要生成整个计算图，而树形计算仅在实际需要时分割工作，所以可能会观察到这个常数因子的影响。

3. 数学符号与概念

3.1 数学符号

符号	含义
({e_0, \ldots, e_{n - 1}})	包含元素 (e_0, \ldots, e_{n - 1}) 的集合
({e : P(e)})	满足谓词 (P) 的所有元素的集合
(\langle e_0, \ldots, e_{n - 1}\rangle)	由元素 (e_0, \ldots, e_{n - 1}) 组成的序列
(\langle e \in S : P(e)\rangle)	序列 (S) 中满足谓词 (P) 的所有元素的子序列
(	x
(\lfloor x \rfloor)	不大于 (x) 的最大整数
(\lceil x \rceil)	不小于 (x) 的最小整数
([a, b])	区间 ({x \in \mathbb{R} : a \leq x \leq b})
(i..j)	集合 ({i, i + 1, \ldots, j}) 的缩写
(A^B)	所有从 (B) 到 (A) 的函数的集合
(A \times B)	有序对 ((a, b)) 的集合，其中 (a \in A) 且 (b \in B)
(\perp)	未定义的值
((+/-)\infty)	正/负无穷大
(\forall x : P(x))	对于所有 (x) 的值，命题 (P(x)) 为真
(\exists x : P(x))	存在一个 (x) 的值，使得命题 (P(x)) 为真
(\mathbb{N})	非负整数集，({0, 1, 2, \ldots})
(\mathbb{N}^+)	正整数集，({1, 2, \ldots})
(\mathbb{Z})	整数集
(\mathbb{R})	实数集
(\mathbb{R} {>0} / \mathbb{R} {\geq 0})	正/非负实数集
(\mathbb{Q})	有理数集
(	, \&, \ll, \gg, \oplus)
(\sum_{i = 1}^n a_i = \sum_{1 \leq i \leq n} a_i = \sum_{i \in 1..n} a_i)	(a_1 + a_2 + \cdots + a_n)
(\prod_{i = 1}^n a_i = \prod_{1 \leq i \leq n} a_i = \prod_{i \in 1..n} a_i)	(a_1 \cdot a_2 \cdots a_n)
(n!)	(n) 的阶乘，(\prod_{i = 1}^n i)
(H_n)	第 (n) 个调和数，(\sum_{i = 1}^n 1/i)
(a \cdot b)	向量 (a = (a_1, \ldots, a_n)) 和 (b = (b_1, \ldots, b_n)) 的点积，(\sum_{i = 1}^n a_i b_i)
(\log x)	以 2 为底 (x) 的对数，(\log_2 x)（(x > 0)）
(\log^* x)	最小的整数 (k)，使得经过 (k) 次对数运算后结果不大于 1
(\ln x)	以 (e = 2.71828 \ldots) 为底 (x) 的自然对数
(\mu(s, t))	从 (s) 到 (t) 的最短路径距离，(\mu(t) := \mu(s, t))
(div)	整数除法，(m div n := \lfloor m / n \rfloor)
(mod)	模运算，(m \bmod n = m - n(m div n))
(a \equiv b \bmod m)	(a) 和 (b) 模 (m) 同余，即存在整数 (i) 使得 (a + im = b)
(\prec)	某种排序关系，在某些情况下表示深度优先搜索中节点被标记的顺序
(1, 0)	布尔值“真”和“假”
(\Sigma^*)	所有由 (\Sigma) 中的字符组成的字符串或单词的集合，通常写成 (a_1 \cdots a_n) 而不是 (\langle a_1, \ldots, a_n\rangle)
(	x

3.2 数学概念

• 反对称关系 ：若关系 (R \subseteq A \times A) 满足对于所有 (a, b \in A)，当 (a R b) 且 (b R a) 时，有 (a = b)，则称 (R) 为反对称关系。
• 结合律 ：运算 (\otimes) 满足 ((x \otimes y) \otimes z = x \otimes (y \otimes z)) 对于所有 (x, y, z) 成立。
• 渐近符号 ：
  • (O(f(n)) := {g(n) : \exists c > 0 : \exists n_0 \in \mathbb{N}^+ : \forall n \geq n_0 : g(n) \leq c \cdot f(n)})
  • (\Omega(f(n)) := {g(n) : \exists c > 0 : \exists n_0 \in \mathbb{N}^+ : \forall n \geq n_0 : g(n) \geq c \cdot f(n)})
  • (\Theta(f(n)) := O(f(n)) \cap \Omega(f(n)))
  • (o(f(n)) := {g(n) : \forall c > 0 : \exists n_0 \in \mathbb{N}^+ : \forall n \geq n_0 : g(n) \leq c \cdot f(n)})
  • (\omega(f(n)) := {g(n) : \forall c > 0 : \exists n_0 \in \mathbb{N}^+ : \forall n \geq n_0 : g(n) \geq c \cdot f(n)})
• 凹函数 ：函数 (f) 在区间 ([a, b]) 上是凹函数，如果 (\forall x, y \in [a, b] : \forall t \in [0, 1] : f(tx + (1 - t)y) \geq t f(x) + (1 - t)f(y))，即函数图像从不低于连接点 ((x, f(x))) 和 ((y, f(y))) 的线段。
• 凸函数 ：函数 (f) 在区间 ([a, b]) 上是凸函数，如果 (\forall x, y \in [a, b] : \forall t \in [0, 1] : f(tx + (1 - t)y) \leq t f(x) + (1 - t)f(y))，即函数图像从不高于连接点 ((x, f(x))) 和 ((y, f(y))) 的线段。
• 等价关系 ：具有传递性、自反性和对称性的关系。
• 域 ：包含特殊元素 (0) 和 (1) 的元素集合，支持加法、减法、乘法和非零元素的除法。加法和乘法满足结合律和交换律，且有类似于实数中 (0) 和 (1) 的中性元素。重要的例子包括实数集 (\mathbb{R})、有理数集 (\mathbb{Q}) 和模素数 (p) 的整数集 (\mathbb{Z}_p)。
• 当且仅当 ：“if and only if” 的缩写。
• 字典序 ：将集合上的全序扩展到该集合上的元组、字符串或序列的规范方式。
• 线性序（全序） ：具有自反性、传递性、反对称性和完全性的关系，通常用符号 (\leq) 表示。严格线性序 (<) 定义为 (a < b) 当且仅当 (a \leq b) 且 (a \neq b)。
• 线性预序（线性拟序） ：具有自反性、传递性和完全性的关系，也用符号 (\leq) 和 (\geq) 表示。可能存在不同元素 (a) 和 (b) 使得 (a \leq b) 且 (b \leq a)。严格变体 (<) 定义为 (a < b) 当且仅当 (a \leq b) 且 (a \ngeq b)。
• 中位数 ：(n) 个元素中排名为 (\lceil n / 2 \rceil) 的元素。
• 乘法逆元 ：若对象 (x) 乘以其乘法逆元 (x^{-1}) 得到 (x \cdot x^{-1} = 1)（乘法的中性元素）。在域中，除 (0)（加法的中性元素）外的每个元素都有唯一的乘法逆元。
• 素数 ：整数 (n \geq 2) 是素数当且仅当不存在整数 (a, b > 1) 使得 (n = a \cdot b)。
• 排名 ：设 (\leq) 是集合 (S = {e_1, \ldots, e_n}) 上的线性预序，一一映射 (r : S \to 1..n) 是 (S) 中元素的排名函数，如果当 (e_i < e_j) 时，有 (r(e_i) < r(e_j))。如果 (\leq) 是线性序，则存在唯一的排名函数。
• 自反关系 ：关系 (R \subseteq A \times A) 是自反的，如果对于所有 (a \in A)，有 (a R a)。
• 关系 ：某个集合 (A) 上的有序对集合 (R)，常写成中缀运算符，如 (a R b) 表示 ((a, b) \in R)。
• 对称关系 ：关系 (R \subseteq A \times A) 是对称的，如果对于所有 (a, b \in A)，当 (a R b) 时，有 (b R a)。
• 全序 ：线性序的同义词。
• 完全关系 ：关系 (R \subseteq A \times A) 是完全的，如果对于所有 (a, b \in A)，要么 (a R b)，要么 (b R a)，要么两者都成立。如果关系 (R) 是完全且传递的，则由 (a \sim_R b) 当且仅当 (a R b) 且 (b R a) 定义的关系 (\sim_R) 是等价关系。
• 传递关系 ：关系 (R \subseteq A \times A) 是传递的，如果对于所有 (a, b, c \in A)，当 (a R b) 且 (b R c) 时，有 (a R c)。

4. 基本概率理论

概率理论基于样本空间 (S) 的概念。例如，描述掷两个骰子的情况时，样本空间是 (36) 个元素的集合 ({1, \ldots, 6} \times {1, \ldots, 6})，其中的元素（也称为基本事件或简单事件）是满足 (1 \leq x, y \leq 6) 且 (x, y \in \mathbb{N}) 的对 ((x, y))。一般来说，样本空间是任何非空集合，这里所有样本空间都是有限的。

在随机实验中，样本空间 (S) 中的任何元素 (s) 以某个基本概率 (p_s) 被选中，且 (\sum_{s \in S} p_s = 1)。将每个事件 (s) 与其概率 (p_s) 关联起来的函数称为分布。样本空间与概率分布一起构成概率空间。这里几乎只使用均匀分布，此时 (p_s = p = 1 / |S|)。样本空间的子集 (E) 称为事件，事件 (E \subseteq S) 的概率是其元素概率之和，在均匀分布的情况下，(\text{prob}(E) = |E| / |S|)。例如，事件 ({(x, y) : x + y = 7} = {(1, 6), (2, 5), \ldots, (6, 1)}) 的概率是 (6 / 36 = 1 / 6)，事件 ({(x, y) : x + y \geq 8}) 的概率是 (15 / 36 = 5 / 12)。

随机变量是从样本空间到实数的映射，通常用大写字母表示以区别于普通值。例如，在掷两个骰子的例子中，随机变量 (X) 可以表示第一个骰子的点数，随机变量 (Y) 可以表示第二个骰子的点数，随机变量 (S) 可以表示两个骰子点数之和。

可以通过涉及其他随机变量和普通值的表达式来定义新的随机变量。例如，如果 (V) 和 (W) 是随机变量，则 ((V + W)(s) = V(s) + W(s))，((V \cdot W)(s) = V(s) \cdot W(s))，((V + 3)(s) = V(s) + 3)。

事件通常由涉及随机变量的谓词指定。例如，(X \leq 2) 表示事件 ({(1, y), (2, y) : 1 \leq y \leq 6})，因此 (\text{prob}(X \leq 2) = 1 / 3)。类似地，(\text{prob}(X + Y = 11) = \text{prob}({(5, 6), (6, 5)}) = 1 / 18)。

指示随机变量是只取 (0) 和 (1) 两个值的随机变量，是算法概率分析中非常有用的工具，因为它们可以将复杂算法的行为编码为简单的数学对象，常用字母 (I) 和 (J) 表示。指示变量与事件一一对应，如果 (E) 是一个事件，则 (I_E) 定义为 (I_E(s) = 1) 当且仅当 (s \in E)。如果事件由谓词 (P) 指定，有时用 ([P]) 表示相应的指示变量，即 ( P = 1) 如果 (P(s)) 成立，否则 ( P = 0)。

随机变量 (Z : S \to \mathbb{R}) 的期望值定义为：
[E[Z] = \sum_{s \in S} p_s \cdot Z(s) = \sum_{z \in \mathbb{R}} z \cdot \text{prob}(Z = z)]
例如，在掷两个骰子的例子中，(E[X] = (1 + 2 + 3 + 4 + 5 + 6) / 6 = 21 / 6 = 3.5)，即第一个骰子的期望值是 (3.5)，第二个骰子的期望值也是 (3.5)。对于指示随机变量 (I)，有 (E[I] = 0 \cdot \text{prob}(I = 0) + 1 \cdot \text{prob}(I = 1) = \text{prob}(I = 1))。

有时更关注随机变量 (Z) 及其行为，而不是底层的概率空间。在这种情况下，只需知道 (Z) 的取值范围 (Z[S]) 以及诱导概率 (\text{prob}(Z = z))，(z \in Z[S])。将 (z \mapsto \text{prob}(Z = z)) 定义在 (Z[S]) 上的函数称为 (Z) 的分布。具有相同分布的两个随机变量 (X) 和 (Y) 称为同分布。

对于只取自然数的随机变量 (Z)，其期望值有一个有用的公式：
[E[Z] = \sum_{k \geq 1} \text{prob}(Z \geq k)]
证明如下：设 (p_k = \text{prob}(Z \geq k)) 和 (q_i = \text{prob}(Z = i))，则 (p_k = \sum_{i \geq k} q_i)，因此
[E[Z] = \sum_{z \in Z[S]} z \cdot \text{prob}(Z = z) = \sum_{i \in \mathbb{N}} i \cdot \text{prob}(Z = i) = \sum_{i \in \mathbb{N}} \sum_{1 \leq k \leq i} q_i = \sum_{k \geq 1} \sum_{i \geq k} q_i = \sum_{k \geq 1} p_k]

随机变量之和的期望值具有线性性质，即对于任何两个随机变量 (V) 和 (W)，有 (E[V + W] = E[V] + E[W])。证明如下：
[E[V + W] = \sum_{s \in S} p_s \cdot (V(s) + W(s)) = \sum_{s \in S} p_s \cdot V(s) + \sum_{s \in S} p_s \cdot W(s) = E[V] + E[W]]
例如，计算两个骰子点数之和的期望值：(E[S] = E[X + Y] = E[X] + E[Y] = 3.5 + 3.5 = 7)。

随机变量乘积的期望值一般不满足 (E[X \cdot Y] = E[X] \cdot E[Y])，但当 (X) 和 (Y) 相互独立时等式成立。随机变量 (X_1, \ldots, X_k) 相互独立当且仅当
[\forall x_1, \ldots, x_k : \text{prob}(X_1 = x_1 \land \cdots \land X_k = x_k) = \prod_{1 \leq i \leq k} \text{prob}(X_i = x_i)]
例如，掷两个骰子时，第一个骰子的值和第二个骰子的值是相互独立的随机变量，但第一个骰子的值和两个骰子的点数之和不是相互独立的随机变量。

马尔可夫不等式给出了一个非负随机变量 (X) 偏离其期望值的概率上限：
[\text{prob}(X \geq c \cdot E[X]) \leq \frac{1}{c}]
证明如下：
[E[X] = \sum_{z \in \mathbb{R}} z \cdot \text{prob}(X = z) \geq \sum_{z \geq c \cdot E[X]} z \cdot \text{prob}(X = z) \geq c \cdot E[X] \cdot \text{prob}(X \geq c \cdot E[X])]

对于 (n) 个独立指示随机变量 (X_1, \ldots, X_n) 的和 (X = X_1 + \cdots + X_n)，切尔诺夫界可以给出更严格的界限。对于任何 (\epsilon > 0)，有
[\text{prob}(X < (1 - \epsilon)E[X]) \leq e^{-\epsilon^2 E[X] / 2}]
[\text{prob}(X > (1 + \epsilon)E[X]) \leq \left(\frac{e^{\epsilon}}{(1 + \epsilon)^{(1 + \epsilon)}}\right)^{E[X]}]
这种形式的界限称为尾部界限，因为它估计了概率分布中 (X) 与期望值有较大偏差的部分。

综上所述，在并行计算中处理任务依赖和进行负载均衡时，需要综合运用这些数学知识和算法，以实现高效的计算。同时，概率理论在分析算法的性能和行为方面也起着重要作用。

并行计算中的任务依赖处理与数学基础

5. 示例分析

5.1 掷骰子示例

在前面提到的掷两个骰子的例子中，我们已经了解了随机变量、期望值等概念。现在进一步分析，假设有一个新的随机变量 (D = |X - Y|)，表示两个骰子点数之差的绝对值。

首先确定 (D) 的取值范围，(D) 可能取值为 (0, 1, 2, 3, 4, 5)。然后计算每个取值的概率：
- (D = 0) 时，即 (X = Y)，有 ((1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6)) 这 6 种情况，所以 (\text{prob}(D = 0) = 6/36 = 1/6)。
- (D = 1) 时，有 ((1, 2), (2, 1), (2, 3), (3, 2), (3, 4), (4, 3), (4, 5), (5, 4), (5, 6), (6, 5)) 这 10 种情况，所以 (\text{prob}(D = 1) = 10/36 = 5/18)。
- 以此类推，可以计算出 (D) 取其他值的概率。

接下来计算 (D) 的期望值 (E[D])：
[
\begin{align }
E[D]&= 0\times\frac{1}{6}+1\times\frac{5}{18}+2\times\frac{2}{9}+3\times\frac{1}{6}+4\times\frac{1}{9}+5\times\frac{1}{18}\
&=\frac{5}{18}+\frac{4}{9}+\frac{1}{2}+\frac{4}{9}+\frac{5}{18}\
&=\frac{5 + 8 + 9 + 8 + 5}{18}\
&=\frac{35}{18}\approx1.94
\end{align }
]

5.2 扔球入箱示例

考虑将 (n) 个球随机扔入 (m) 个箱子的实验。前面已经分析了箱子 1 中球的期望数量 (E[W] = n/m)。现在分析箱子中球的数量的方差。

设 (W_i) 表示第 (i) 个箱子中球的数量，(W_i) 可以表示为 (n) 个指示随机变量之和，即 (W_i=\sum_{j = 1}^{n}I_{ij})，其中 (I_{ij}) 表示第 (j) 个球是否落入第 (i) 个箱子，(I_{ij}=1) 表示落入，(I_{ij}=0) 表示未落入。

首先计算 (E[W_i^2])：
[
\begin{align }
E[W_i^2]&=E\left[\left(\sum_{j = 1}^{n}I_{ij}\right)^2\right]\
&=E\left[\sum_{j = 1}^{n}I_{ij}^2 + 2\sum_{1\leq j < k\leq n}I_{ij}I_{ik}\right]\
&=\sum_{j = 1}^{n}E[I_{ij}^2]+2\sum_{1\leq j < k\leq n}E[I_{ij}I_{ik}]
\end{align }
]

因为 (I_{ij}) 是指示随机变量，(E[I_{ij}^2]=E[I_{ij}] = 1/m)，且 (I_{ij}) 与 (I_{ik}) 相互独立（不同球的投放是独立事件），所以 (E[I_{ij}I_{ik}]=E[I_{ij}]E[I_{ik}] = 1/m^2)。

则 (E[W_i^2]=n\times\frac{1}{m}+2\times\frac{n(n - 1)}{2}\times\frac{1}{m^2}=\frac{n}{m}+\frac{n(n - 1)}{m^2})。

根据方差公式 (Var(W_i)=E[W_i^2]-E[W_i]^2)，可得：
[
\begin{align }
Var(W_i)&=\frac{n}{m}+\frac{n(n - 1)}{m^2}-\left(\frac{n}{m}\right)^2\
&=\frac{n}{m}+\frac{n^2 - n}{m^2}-\frac{n^2}{m^2}\
&=\frac{n}{m}\left(1-\frac{1}{m}\right)
\end{align }
]

6. 算法复杂度分析中的应用

在算法复杂度分析中，渐近符号起着重要作用。例如，分析一个排序算法的时间复杂度。

假设一个排序算法的运行时间 (T(n)) 满足 (T(n)=2T(n/2)+O(n))，其中 (n) 是待排序元素的数量。

我们可以使用主定理来分析这个递归式。主定理的一般形式为 (T(n)=aT(n/b)+f(n))，其中 (a\geq1)，(b > 1)。

在这个例子中，(a = 2)，(b = 2)，(f(n)=O(n))。计算 (n^{\log_b a}=n^{\log_2 2}=n)。

因为 (f(n)=O(n))，满足主定理的情况 2（(f(n)=\Theta(n^{\log_b a}))），所以 (T(n)=\Theta(n\log n))。

下面用表格总结常见的渐近符号及其含义和应用场景：
|渐近符号|含义|应用场景|
| ---- | ---- | ---- |
| (O(f(n))) | 存在正常数 (c) 和 (n_0)，使得当 (n\geq n_0) 时，(g(n)\leq c\cdot f(n)) | 用于描述算法的最坏情况复杂度 |
| (\Omega(f(n))) | 存在正常数 (c) 和 (n_0)，使得当 (n\geq n_0) 时，(g(n)\geq c\cdot f(n)) | 用于描述算法的最好情况复杂度 |
| (\Theta(f(n))) | (g(n)) 既属于 (O(f(n))) 又属于 (\Omega(f(n))) | 用于精确描述算法的复杂度 |
| (o(f(n))) | 对于任意正常数 (c)，存在 (n_0)，使得当 (n\geq n_0) 时，(g(n)< c\cdot f(n)) | 用于表示严格的上界 |
| (\omega(f(n))) | 对于任意正常数 (c)，存在 (n_0)，使得当 (n\geq n_0) 时，(g(n)> c\cdot f(n)) | 用于表示严格的下界 |

7. 概率理论在算法设计中的应用

在算法设计中，概率理论可以用于设计随机化算法。例如，随机快速排序算法。

随机快速排序的基本思想是在每次划分步骤中，随机选择一个元素作为基准元素。

下面是随机快速排序的伪代码：

RandomizedQuickSort(A, p, r):
    if p < r:
        q = RandomizedPartition(A, p, r)
        RandomizedQuickSort(A, p, q - 1)
        RandomizedQuickSort(A, q + 1, r)

RandomizedPartition(A, p, r):
    i = Random(p, r)
    Swap(A[i], A[r])
    return Partition(A, p, r)

Partition(A, p, r):
    x = A[r]
    i = p - 1
    for j = p to r - 1:
        if A[j] <= x:
            i = i + 1
            Swap(A[i], A[j])
    Swap(A[i + 1], A[r])
    return i + 1

随机快速排序的平均时间复杂度为 (\Theta(n\log n))。我们可以用概率理论来分析其复杂度。

设 (T(n)) 表示对 (n) 个元素进行随机快速排序的时间复杂度。在随机快速排序中，每次划分得到的两个子问题的规模是随机的。

假设划分后左子问题的规模为 (k)，右子问题的规模为 (n - k - 1)，则 (T(n)) 可以表示为：
[T(n)=\frac{1}{n}\sum_{k = 0}^{n - 1}(T(k)+T(n - k - 1))+O(n)]

通过求解这个递归式，可以证明 (E[T(n)]=\Theta(n\log n))。

8. 总结

本文围绕并行计算中的任务依赖处理和数学基础展开了详细的讨论。

在并行计算方面，介绍了背包问题的分支限界法，以及如何将并行计算视为有向无环图（DAG）来处理任务依赖。通过定理证明了在有任务准备好执行时不让处理元素闲置的调度方案能达到最优调度方案的两倍近似解，并介绍了主 - 从模式、随机静态算法和工作窃取算法等负载均衡算法。

在数学基础方面，详细介绍了各种数学符号和概念，包括集合、序列、函数、关系等。同时，深入讲解了基本概率理论，包括样本空间、随机变量、期望值、方差、独立性等概念，以及马尔可夫不等式和切尔诺夫界等概率界限。

通过掷骰子、扔球入箱等示例，展示了如何应用概率理论进行实际问题的分析。在算法复杂度分析和算法设计中，概率理论和渐近符号也发挥了重要作用，如随机快速排序算法的设计和复杂度分析。

在实际应用中，我们可以根据具体问题的特点，选择合适的调度算法和数学工具，以提高并行计算的效率和算法的性能。未来，随着计算技术的不断发展，并行计算和概率算法将在更多领域得到应用，我们需要不断深入研究和探索，以应对新的挑战。

下面是一个简单的 mermaid 流程图，展示随机快速排序的主要流程：

graph TD;
    A[开始] --> B[随机选择基准元素];
    B --> C[划分操作];
    C --> D{是否有子问题};
    D -- 是 --> E[递归处理左子问题];
    D -- 是 --> F[递归处理右子问题];
    E --> G[合并结果];
    F --> G;
    D -- 否 --> G;
    G --> H[结束];

通过以上内容，我们可以看到数学知识在并行计算和算法设计中的重要性，希望读者能够掌握这些知识，并将其应用到实际问题中。