算法导论第三版代码python实现与部分习题答案-第四章：分治策略(二)

4.4 递归树

一、 对于幂函数的复习

证明：$3^{{\log }_{4}n}=n^{{\log }_{4}3}$

方法一：标准推导

$$3^{{\log }_{4}n}=3^{\frac{\ln n}{\ln 4}}\text{（换底公式：}{\log }_{4}n=\frac{\ln n}{\ln 4}\text{）}$$

$$={\left(3^{\frac{1}{\ln 4}}\right)}^{\ln n}\text{（幂的乘方法则：}{a}^{km}=(a^k{)}^m\text{）}$$

$$={\left(e^{\frac{\ln 3}{\ln 4}}\right)}^{\ln n}\text{（因为}{3}^{\frac{1}{\ln 4}}=e^{\frac{\ln 3}{\ln 4}}\text{）}$$

$$=e^{\frac{\ln 3}{\ln 4}\cdot \ln n}\text{（幂的乘方法则：}(a^k{)}^m=a^{km}\text{）}$$

$$=e^{\ln n\cdot \frac{\ln 3}{\ln 4}}\text{（乘法交换律）}$$

$$={\left(e^{\ln n}\right)}^{\frac{\ln 3}{\ln 4}}\text{（幂的乘方法则：}{a}^{km}=(a^k{)}^m\text{）}$$

$$=n^{\frac{\ln 3}{\ln 4}}\text{（指数还原：}{e}^{\ln n}=n\text{）}$$

$$=n^{{\log }_{4}3}\text{（换底公式：}\frac{\ln 3}{\ln 4}={\log }_{4}3\text{）}$$

方法二：对数验证法

设 $x=3^{{\log }_{4}n}$，两边取以4为底的对数：

$${\log }_{4}x={\log }_4(3^{{\log }_{4}n})=({\log }_{4}n)\cdot ({\log }_{4}3)\text{（对数的幂法则）}$$

$$=({\log }_{4}3)\cdot ({\log }_{4}n)\text{（乘法交换律）}$$

设 $y=n^{{\log }_{4}3}$，两边取以4为底的对数：

$${\log }_{4}y={\log }_4(n^{{\log }_{4}3})=({\log }_{4}3)\cdot ({\log }_{4}n)\text{（对数的幂法则）}$$

因为 ${\log }_{4}x={\log }_{4}y$，所以 $x=y$，即：$3^{{\log }_{4}n}=n^{{\log }_{4}3}$

幂对换公式的一般形式

$$a^{{\log }_{b}n}=n^{{\log }_{b}a}\text{（条件：}a>0,a\ne 1,b>0,b\ne 1,n>0\text{）}$$

[!IMPORTANT]

常用公式回顾

$${\log }_{a}b=\frac{\log b}{\log a}=\frac{\ln b}{\ln a}\text{（换底公式）}$$

$${\log }_{a}b\cdot {\log }_{b}c={\log }_{a}c\text{（对数的连乘）}$$

$$a^{{\log }_{b}c}=c^{{\log }_{b}a}\text{（幂对换公式）}$$

$${\log }_a(b^c)=c\cdot {\log }_{a}b\text{（对数的幂法则）}$$

$$a^{k\cdot m}=(a^k{)}^m\text{（幂的乘方法则）}$$

二、数列求和相关
$$T(n)=c{n}^2+\frac{3}{16}c{n}^2+{\left(\frac{3}{16}\right)}^{2}c{n}^2+\cdots +{\left(\frac{3}{16}\right)}^{{\log }_{4}n-1}c{n}^2+\Theta (n^{{\log }_{4}3})$$

$$=\sum _{i=0}^{{\log }_{4}n-1}{\left(\frac{3}{16}\right)}^{i}c{n}^2+\Theta (n^{{\log }_{4}3})\text{/* 写成等比数列求和的形式 */}$$

$$<\sum _{i=0}^{\infty }{\left(\frac{3}{16}\right)}^{i}c{n}^2+\Theta (n^{{\log }_{4}3})\text{/* 用无穷级数和估计有限级数和，上界分析 */}$$

$$=\left(\sum _{i=0}^{\infty }{q}^i\right)c{n}^2+\Theta (n^{{\log }_{4}3}),q=\frac{3}{16}\text{/* 设q=163，便于套用公式 */}$$

$$=\frac{1}{1-q}c{n}^2+\Theta (n^{{\log }_{4}3})\text{/* 等比无穷级数求和公式：∑i=0∞qi=1−q1，∣q∣<1 */}$$

$$=\frac{16}{13}c{n}^2+\Theta (n^{{\log }_{4}3})\text{/* 代入q的值，1−q=1−163=1613 */}$$

$$=O(n^2)\text{/* n2项主导，渐进上界符号表示 */}$$

[!IMPORTANT]
$$\sum _{i=0}^k{q}^i=\frac{1-q^{k+1}}{1-q}$$

无穷等比数列求和公式
无穷等比数列指的是首项为 $a$，公比为 $q$，项数无限的数列：
$$a,aq,a{q}^2,a{q}^3,\dots$$

若 $|q|<1$，无穷等比数列的和为：
$$S=a+aq+a{q}^2+a{q}^3+\cdots =\sum _{i=0}^{\infty }a{q}^i=\frac{a}{1-q}$$

其中：

• $a$ 为首项
• $q$ 为公比（$|q|<1$）

---

推导过程：

设 $S=a+aq+a{q}^2+a{q}^3+\cdots$

将 $S$ 两边同时乘以 $q$：
$$qS=aq+a{q}^2+a{q}^3+\cdots$$

两式相减：
$$\begin{gathered} S-qS=a \\ S(1-q)=a \\ S=\frac{a}{1-q} \end{gathered}$$

---

注意：

• 只有当 $|q|<1$ 时，级数才收敛，有和公式。
• 若 $|q|\ge 1$，级数发散，无和。

设无穷等比级数的部分和为 $S_n=a+aq+a{q}^2+\cdots +a{q}^n=a\cdot \frac{1-q^{n+1}}{1-q}$（$q\ne 1$）

当 $|q|<1$，$q^{n+1}\to 0$，所以 $\underset{n\to \infty }{\lim }{S}_n=\frac{a}{1-q}$，极限存在，级数收敛。

当 $|q|>1$，$|q^{n+1}|\to \infty$，$S_n$ 不存在有限极限，级数发散。

当 $q=1$，$S_n=a(n+1)\to \infty$，级数发散。

当 $q=-1$，$S_n$ 在 $a$ 和 $0$ 之间振荡，无极限，级数发散。

因此，只有 $|q|<1$ 时无穷等比级数收敛，其余情况均发散。

对于无穷级数 ${\sum }_{n=0}^{\infty }{a}_n$，我们考察它的部分和 $S_N={\sum }_{n=0}^N{a}_n$。

• 如果 $\underset{N\to \infty }{\lim }{S}_N$ 存在且为有限实数（不是无穷大，也不是震荡），则称级数收敛。
• 如果极限不存在，或者极限为无穷大或无界，或者部分和在多个值之间震荡，则称级数发散。

因此，极限存在且有限 $⟺$ 级数收敛；极限不存在或为无穷大 $⟺$ 级数发散。

[!NOTE]

有限项等比数列求和公式

有限项等比数列是指首项为 $a$，公比为 $q$，共 $n+1$ 项的数列：
$$a,aq,a{q}^2,\dots ,a{q}^n$$

有限等比级数的和：
$$S=a+aq+a{q}^2+\cdots +a{q}^n=\sum _{i=0}^{n}a{q}^i=a\cdot \frac{1-q^{n+1}}{1-q}(q\ne 1)$$

其中：

• $a$ 为首项
• $q$ 为公比
• $n+1$ 为项数

[!IMPORTANT]

几何级数复习

基本定义

什么是几何级数？

几何级数（等比数列的前 $n$ 项和）是指形如： $$a+ar+a{r}^2+a{r}^3+\cdots +a{r}^{n-1}$$

其中：

• $a$ 是首项
• $r$ 是公比（公比不等于0）
• $n$ 是项数

标准形式

$$\sum _{i=0}^{n-1}a{r}^i=a+ar+a{r}^2+\cdots +a{r}^{n-1}$$

求和公式

$a$是首项 $r$是公比 $n$是项数

有限几何级数求和公式

当 $r\ne 1$ 时： $$\sum _{i=0}^{n-1}a{r}^i=a\cdot \frac{1-r^n}{1-r}=a\cdot \frac{r^n-1}{r-1}$$

推导过程： 设 $S=a+ar+a{r}^2+\cdots +a{r}^{n-1}$

两边同时乘以 $r$： $$rS=ar+a{r}^2+a{r}^3+\cdots +a{r}^n$$

两式相减： $$S-rS=a-a{r}^n$$ $$(1-r)S=a(1-r^n)$$ $$S=a\cdot \frac{1-r^n}{1-r}$$

无穷几何级数

当 $|r|<1$ 时，无穷级数收敛： $$\sum _{i=0}^{\infty }a{r}^i=\frac{a}{1-r}$$

从第1项开始的级数

$$\sum _{i=1}^{n}a{r}^i=ar\cdot \frac{1-r^n}{1-r}$$

方法一：提取公因子
$$\sum _{i=1}^{n}a{r}^i=ar+a{r}^2+a{r}^3+\cdots +a{r}^n$$

提取 $ar$：
$$=ar(1+r+r^2+\cdots +r^{n-1})$$
$$=ar\sum _{i=0}^{n-1}{r}^i$$

应用基础公式（$a=1$）：
$$=ar\cdot \frac{1-r^n}{1-r}$$

方法二：利用级数分割
$$\sum _{i=1}^{n}a{r}^i=\sum _{i=0}^{n}a{r}^i-\sum _{i=0}^{0}a{r}^i$$
$$=\sum _{i=0}^{n}a{r}^i-a$$
$$=a\cdot \frac{1-r^{n+1}}{1-r}-a$$
$$=a\left(\frac{1-r^{n+1}}{1-r}-1\right)$$
$$=a\left(\frac{1-r^{n+1}-(1-r)}{1-r}\right)$$
$$=a\left(\frac{1-r^{n+1}-1+r}{1-r}\right)$$
$$=a\left(\frac{r-r^{n+1}}{1-r}\right)$$
$$=a\left(\frac{r(1-r^n)}{1-r}\right)$$
$$=ar\cdot \frac{1-r^n}{1-r}$$

Exercise 4.4-1

题目：对递归式 $T(n)=3T(\lfloor n/2\rfloor )+n$，利用递归树确定一个好的渐近上界，用代入法进行验证。

递归树的结构：

• 树的深度：每次递归问题规模从 $n$ 变为 $n/2$，因此深度为 $\lg n$（lg是以2为底）

[!NOTE]

当达到基础情况时，问题规模为 1， 也就是$$\frac{n}{2^k}=1$$

解这个方程： $$2^k=n$$ $$k={\log }_{2}n=\lg n$$ 因此，递归树的深度确实是 $\lg n$。

[!WARNING]

深度 vs 层数的区别

标准定义

• 深度（depth）：从根节点到叶节点的边数
• 层数（level）：节点所在的层级编号（根节点为第0层）

• 第 $i$ 层节点数：$3^i$（每个节点分解为3个子问题）
• 第 $i$ 层每个节点的代价：$n/2^i$（递归式中的线性项）
• 第 $i$ 层总代价：$3^i\times \frac{n}{2^i}=n\cdot (3/2{)}^i$

总代价计算

$$T(n)=\sum _{i=0}^{\lg n}n\cdot {\left(\frac{3}{2}\right)}^i=n\sum _{i=0}^{\lg n}{\left(\frac{3}{2}\right)}^i$$

使用几何级数公式 ${\sum }_{i=0}^k{r}^i=\frac{r^{k+1}-1}{r-1}$：

$$=n\cdot \frac{(3/2{)}^{\lg n+1}-1}{3/2-1}=2n[(3/2{)}^{\lg n+1}-1]$$

关键计算：$(3/2{)}^{\lg n}$ 的值

使用换底公式和幂对换公式 $a^{{\log }_{b}c}=c^{{\log }_{b}a}$：
$$(3/2{)}^{\lg n}=(3/2{)}^{{\log }_{2}n}=n^{{\log }_2(3/2)}=n^{\lg 3-\lg 2}=n^{\lg 3-1}=\frac{n^{\lg 3}}{n}$$

因此：
$$(3/2{)}^{\lg n+1}=\frac{3}{2}\cdot \frac{n^{\lg 3}}{n}=\frac{3n^{\lg 3}}{2n}$$

主导项分析：
$$T(n)=2n\left[\frac{3n^{\lg 3}}{2n}-1\right]=3n^{\lg 3}-2n$$

主导项为：$T(n)=\Theta (n^{\lg 3})$，其中 $\lg 3\approx 1.585$

[!TIP]

1.1 强化假设技巧

技巧描述

当简单假设无法完成归纳时，添加低阶修正项。

基本模式

• 简单形式：$T(n)\le c{n}^k$
• 强化形式：$T(n)\le c{n}^k-d{n}^{k-1}$

应用场景

递归式形如 $T(n)=aT(n/b)+f(n)$，且主导项来自递归部分时。

示例

递归式：$T(n)=4T(n/2)+n$

• 简单假设 $T(n)\le c{n}^2$ 会多出 $+n$ 项
• 强化为 $T(n)\le c{n}^2-dn$ 可以用 $-dn$ 抵消 $+n$

代入法验证

设 $T(n)\le c{n}^{\lg 3}-dn$，其中 $c,d>0$：

$$T(n)=3T(\lfloor n/2\rfloor )+n$$

$$\le 3[c(\lfloor n/2\rfloor {)}^{\lg 3}-d\lfloor n/2\rfloor ]+n$$

处理取整项：由于 $\lfloor n/2\rfloor \le n/2$，有 $(\lfloor n/2\rfloor {)}^{\lg 3}\le (n/2{)}^{\lg 3}$：

$$\le 3\left[c\cdot \frac{n^{\lg 3}}{2^{\lg 3}}-d\lfloor n/2\rfloor \right]+n$$

由于 $2^{\lg 3}=3$：

$$=3\left[c\cdot \frac{n^{\lg 3}}{3}-d\lfloor n/2\rfloor \right]+n=c{n}^{\lg 3}-3d\lfloor n/2\rfloor +n$$

进一步估算：当 $n$ 足够大时，$\lfloor n/2\rfloor \ge n/2-1$，所以：

$$-3d\lfloor n/2\rfloor \le -3d(n/2-1)=-\frac{3dn}{2}+3d$$

因此：
$$T(n)\le c{n}^{\lg 3}-\frac{3dn}{2}+3d+n=c{n}^{\lg 3}+n\left(1-\frac{3d}{2}\right)+3d$$

设置约束：要使 $T(n)\le c{n}^{\lg 3}-dn$，当 $n$ 足够大时（常数项可忽略），需要：

$$1-\frac{3d}{2}\le -d$$
$$1\le \frac{3d}{2}-d=\frac{d}{2}$$
$$d\ge 2$$

当 $d\ge 2$ 时成立，因此 $T(n)=O(n^{\lg 3})$。

[!NOTE]

$$x-1<\lfloor x\rfloor \le x$$

---

Exercise 4.4-2

题目：对递归式 $T(n)=T(n/2)+n^2$，利用递归树确定一个好的渐近上界，用代入法进行验证。

递归树分析

递归树的结构：

• 树的深度：$\lg n$
• 第 $i$ 层节点数：1（只有一个递归分支）
• 第 $i$ 层节点的代价：$(n/2^i{)}^2=n^2/4^i$

总代价计算

$$T(n)=\sum _{i=0}^{\lg n}\frac{n^2}{4^i}=n^2\sum _{i=0}^{\lg n}{\left(\frac{1}{4}\right)}^i$$

使用几何级数公式：
$$=n^2\cdot \frac{1-(1/4{)}^{\lg n+1}}{1-1/4}=n^2\cdot \frac{1-(1/4{)}^{\lg n+1}}{3/4}=\frac{4n^2}{3}[1-(1/4{)}^{\lg n+1}]$$

关键计算：$(1/4{)}^{\lg n+1}$ 的值

使用换底公式：
$$(1/4{)}^{\lg n}=(1/4{)}^{{\log }_{2}n}=n^{{\log }_2(1/4)}=n^{{\log }_2(2^{-2})}=n^{-2}=\frac{1}{n^2}$$

因此：
$$(1/4{)}^{\lg n+1}=\frac{1}{4}\cdot (1/4{)}^{\lg n}=\frac{1}{4}\cdot \frac{1}{n^2}=\frac{1}{4n^2}$$

主导项计算：
$$T(n)=\frac{4n^2}{3}\left[1-\frac{1}{4n^2}\right]=\frac{4n^2}{3}-\frac{1}{3}$$

主导项为：$T(n)=\frac{4n^2}{3}-\frac{1}{3}=O(n^2)$

代入法验证

设 $T(n)\le c{n}^2$：

$$T(n)=T(n/2)+n^2\le c(n/2{)}^2+n^2=\frac{c{n}^2}{4}+n^2=\left(\frac{c}{4}+1\right)n^2$$

要使 $T(n)\le c{n}^2$，需要：
$$\frac{c}{4}+1\le c$$
$$1\le c-\frac{c}{4}=\frac{3c}{4}$$
$$\frac{4}{3}\le c$$

当 $c\ge 4/3$ 时成立，因此 $T(n)=O(n^2)$。

---

Exercise 4.4-3

题目：对递归式 $T(n)=4T(n/2+2)+n$，利用递归树确定一个好的渐近上界，用代入法进行验证。

递归树分析

递归树的结构：

• 树的深度：约为 $\lg n$
• 第 $i$ 层节点数：$4^i$
• 第 $i$ 层每个节点的规模：约为 $n/2^i$（忽略常数项+2的影响）
• 第 $i$ 层总代价：约为 $4^i\times \frac{n}{2^i}=n\cdot 2^i$

总代价计算

$$T(n)\approx \sum _{i=0}^{\lg n}n\cdot 2^i=n\sum _{i=0}^{\lg n}{2}^i=n(2^{\lg n+1}-1)=n(2n-1)=O(n^2)$$

代入法验证

设 $T(n)\le c{n}^2-dn$，其中 $c,d>0$：

$$T(n)=4T(n/2+2)+n$$

设 $m=n/2+2$，则：
$$T(n)\le 4[c{m}^2-dm]+n=4c(n/2+2{)}^2-4d(n/2+2)+n$$

展开 $(n/2+2{)}^2=n^2/4+2n+4$：
$$=4c\left(\frac{n^2}{4}+2n+4\right)-4d\left(\frac{n}{2}+2\right)+n$$

$$=c{n}^2+8cn+16c-2dn-8d+n$$

$$=c{n}^2+n(8c-2d+1)+(16c-8d)$$

要使 $T(n)\le c{n}^2-dn$，需要：
$$n(8c-2d+1)+(16c-8d)\le -dn$$

整理得：
$$n(8c-2d+1+d)+(16c-8d)\le 0$$
$$n(8c-d+1)+(16c-8d)\le 0$$

这要求：

1. 线性项系数：$8c-d+1\le 0$，即 $d\ge 8c+1$
2. 常数项：$16c-8d\le 0$，即 $d\ge 2c$

综合约束：$d\ge \max (8c+1,2c)$

当 $c\ge 1/6$ 时，$8c+1\ge 2c$，所以需要 $d\ge 8c+1$。

参数选择：取 $c=1,d=9$，满足 $d=8c+1$ 和 $d>2c$。

因此 $T(n)=O(n^2)$。

---

Exercise 4.4-4

题目：对递归式 $T(n)=2T(n-1)+1$，利用递归树确定一个好的渐近上界，用代入法进行验证。

递归树分析

递归树的结构：

• 树的深度：$n$（每次递归减1）
• 第 $i$ 层节点数：$2^i$
• 每个节点的代价：1

总代价计算

$$T(n)=\sum _{i=0}^{n-1}{2}^i\cdot 1=\sum _{i=0}^{n-1}{2}^i=2^n-1=O(2^n)$$

代入法验证

设 $T(n)\le 2^n-1$：

$$T(n)=2T(n-1)+1\le 2(2^{n-1}-1)+1=2^n-2+1=2^n-1$$

假设成立，因此 $T(n)=O(2^n)$。

---

Exercise 4.4-5

题目：对递归式 $T(n)=T(n-1)+T(n/2)+n$，利用递归树确定一个好的渐近上界，用代入法进行验证。

递归树分析

递归树看起来像一个长分支，从它分出的分支直接跳到一半。这看起来是一个相当满的树，我们猜测运行时间为 $O(2^n)$。

代入法验证上界

第一次尝试：设 $T(n)\le 2^n$

$$T(n)=T(n-1)+T(n/2)+n\le 2^{n-1}+2^{n/2}+n$$

问题：$2^{n-1}+2^{n/2}+n$ 不一定 $\le 2^n$，因为我们有额外的 $2^{n/2}+n$ 项。

强化假设：设 $T(n)\le 2^n-an-b$，其中 $a,b>0$

$$T(n)=T(n-1)+T(n/2)+n$$

$$\le [2^{n-1}-a(n-1)-b]+[2^{n/2}-a(n/2)-b]+n$$

$$=2^{n-1}+2^{n/2}-a(n-1)-a(n/2)-2b+n$$

$$=2^{n-1}+2^{n/2}-an+a-\frac{an}{2}-2b+n$$

$$=2^{n-1}+2^{n/2}-\frac{3an}{2}+a-2b+n$$

$$=2^{n-1}+2^{n/2}+n\left(1-\frac{3a}{2}\right)+(a-2b)$$

要使结果 $\le 2^n-an-b$，需要：
$$2^{n-1}+2^{n/2}+n\left(1-\frac{3a}{2}\right)+(a-2b)\le 2^n-an-b$$

分析约束条件：

1. 指数项：当 $n$ 足够大时，$2^{n/2}\ll 2^{n-1}$，所以：
   $$2^{n-1}+2^{n/2}\le 2^{n-1}+\epsilon \cdot 2^{n-1}=(1+\epsilon )\cdot 2^{n-1}$$

   其中 $\epsilon$ 是任意小的正数。要使 $(1+\epsilon )\cdot 2^{n-1}\le 2^n=2\cdot 2^{n-1}$，需要 $1+\epsilon \le 2$，这在 $n$ 足够大时成立。

2. 线性项：需要 $1-\frac{3a}{2}\le -a$，即：
   $$1\le \frac{3a}{2}-a=\frac{a}{2}$$
   $$a\ge 2$$

3. 常数项：需要 $a-2b\le -b$，即：
   $$a\le b$$

参数选择：取 $a=2,b=2$，满足所有约束条件。

多项式上界的否定

假设 $T(n)\le c{n}^k$，代入递归式：
$$T(n)\le c(n-1{)}^k+c(n/2{)}^k+n$$

当 $n$ 足够大时，$(n-1{)}^k\approx n^k$：
$$\le c{n}^k+\frac{c{n}^k}{2^k}+n=c{n}^k\left(1+\frac{1}{2^k}\right)+n$$

$n^k$ 的系数为 $c\left(1+\frac{1}{2^k}\right)>c$，这违反了 $T(n)\le c{n}^k$ 的假设。

因此不存在多项式上界，$T(n)=O(2^n)$。

基础情况验证

需要验证小的 $n$ 值满足 $T(n)\le 2^n-2n-2$，并调整参数以确保基础情况成立。

因此 $T(n)=O(2^n)$。

---

Exercise 4.4-6

题目：对递归式 $T(n)=T(n/3)+T(2n/3)+cn$，利用递归树论证其解为 $\Omega (n\lg n)$，其中 $c$ 为常数。

递归树分析

递归树每一层的代价分析：

• 第 0 层：1个节点，代价 $cn$
• 第 1 层：2个节点，代价 $c(n/3)+c(2n/3)=cn$
• 第 2 层：4个节点，总代价仍为 $cn$

每一层的总代价都是 $cn$。

下界分析

最短路径：从根到叶的最短路径通过每次选择较小的子问题 $T(n/3)$： $$n\to n/3\to n/9\to n/27\to \cdots \to 1$$

路径长度为 ${\log }_{3}n$，因此树的高度至少为 ${\log }_{3}n$。

总代价下界： $$T(n)\ge cn\cdot ({\log }_{3}n+1)\ge cn{\log }_{3}n=c\cdot \frac{\ln n}{\ln 3}\cdot n=\frac{c}{\ln 3}n\ln n=\Omega (n\lg n)$$

---

Exercise 4.4-7

题目：对递归式 $T(n)=4T(\lfloor n/2\rfloor )+cn$（$c$ 为常数），画出递归树，并给出其解的一个渐近紧确界。用代入法进行验证。

递归树分析

递归树的结构：

• 第 $i$ 层节点数：$4^i$
• 第 $i$ 层每个节点的代价：$c\cdot n/2^i$
• 第 $i$ 层总代价：$4^i\cdot \frac{cn}{2^i}=cn\cdot 2^i$
• 树的深度：$\lg n$

总代价计算

$$T(n)=\sum _{i=0}^{\lg n}cn\cdot 2^i=cn\sum _{i=0}^{\lg n}{2}^i=cn(2^{\lg n+1}-1)=cn(2n-1)=O(n^2)$$

上界验证

设 $T(n)\le c^{\prime }{n}^2-dn$：

$$T(n)=4T(\lfloor n/2\rfloor )+cn\le 4\left[c^{\prime }{\left(\frac{n}{2}\right)}^2-d\left(\frac{n}{2}\right)\right]+cn$$

$$=4\left[\frac{c^{\prime }{n}^2}{4}-\frac{dn}{2}\right]+cn=c^{\prime }{n}^2-2dn+cn=c^{\prime }{n}^2-(2d-c)n$$

当 $2d-c\ge d$，即 $d\ge c$ 时，$T(n)\le c^{\prime }{n}^2-dn$。

下界验证

类似可证 $T(n)=\Omega (n^2)$，因此 $T(n)=\Theta (n^2)$。

---

Exercise 4.4-8

题目：对递归式 $T(n)=T(n-a)+T(a)+cn$，利用递归树给出一个渐近紧确解，其中 $a\ge 1$ 和 $c>0$ 是常数。

递归树分析

这是一个线性递归，递归树结构：

• 第 0 层：$T(a)+cn$
• 第 1 层：$T(a)+c(n-a)$
• 第 2 层：$T(a)+c(n-2a)$
• 第 $\lfloor n/a\rfloor$ 层：$T(a)$

总共有 $\lceil n/a\rceil$ 层。

总代价计算

$$T(n)=\sum _{i=0}^{\lceil n/a\rceil -1}[T(a)+c(n-ia)]$$

$$=\lceil n/a\rceil \cdot T(a)+c\sum _{i=0}^{\lceil n/a\rceil -1}(n-ia)$$

$$=\lceil n/a\rceil \cdot T(a)+c\left[\lceil n/a\rceil \cdot n-a\sum _{i=0}^{\lceil n/a\rceil -1}i\right]$$

使用求和公式 ${\sum }_{i=0}^{k-1}i=\frac{(k-1)k}{2}$：

[!TIP]

• 首项 $a_1=0$
• 公差 $d=1$
• 项数 $n=k$
• 使用 $S_n=\frac{n(a_1+a_n)}{2}$

$$=\lceil n/a\rceil \cdot T(a)+c\left[\lceil n/a\rceil \cdot n-a\cdot \frac{(\lceil n/a\rceil -1)\lceil n/a\rceil }{2}\right]$$

当 $n$ 能被 $a$ 整除时，设 $k=n/a$：

$$=k\cdot T(a)+c\left[kn-\frac{ak(k-1)}{2}\right]$$

$$=\frac{n}{a}\cdot T(a)+c\left[\frac{n^2}{a}-\frac{a\cdot \frac{n}{a}\cdot (\frac{n}{a}-1)}{2}\right]$$

$$=\frac{n\cdot T(a)}{a}+c\left[\frac{n^2}{a}-\frac{n(n-a)}{2a}\right]$$

$$=\frac{n\cdot T(a)}{a}+\frac{c{n}^2}{a}-\frac{cn(n-a)}{2a}$$

$$=\frac{n\cdot T(a)}{a}+\frac{c{n}^2}{a}-\frac{c{n}^2}{2a}+\frac{cn}{2}$$

$$=\frac{n\cdot T(a)}{a}+\frac{c{n}^2}{2a}+\frac{cn}{2}$$

$$=\frac{c}{2a}{n}^2+\left(\frac{T(a)}{a}+\frac{c}{2}\right)n=\Theta (n^2)$$

---

Exercise 4.4-9

题目：对递归式 $T(n)=T(\alpha n)+T((1-\alpha )n)+cn$，利用递归树给出一个渐近紧确解，其中 $0<\alpha <1$ 和 $c>0$ 是常数。

递归树分析

由于两个子问题的大小之和为 $\alpha n+(1-\alpha )n=n$，类似于归并排序，每层的总工作量都是 $cn$。

树的深度由较大的子问题决定：

• 如果 $\alpha \le 1/2$，较大子问题是 $T((1-\alpha )n)$，深度约为 ${\log }_{1/(1-\alpha )}n$
• 如果 $\alpha >1/2$，较大子问题是 $T(\alpha n)$，深度约为 ${\log }_{1/\alpha }n$

总的来说，深度为 $O(\lg n)$。

上界验证

设 $T(n)\le c^{\prime }n\lg n$：

$$T(n)=T(\alpha n)+T((1-\alpha )n)+cn$$

$$\le c^{\prime }\alpha n\lg (\alpha n)+c^{\prime }(1-\alpha )n\lg ((1-\alpha )n)+cn$$

$$=c^{\prime }\alpha n[\lg \alpha +\lg n]+c^{\prime }(1-\alpha )n[\lg (1-\alpha )+\lg n]+cn$$

$$=c^{\prime }n\lg n[\alpha +(1-\alpha )]+c^{\prime }n[\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )]+cn$$

$$=c^{\prime }n\lg n+c^{\prime }n[\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )]+cn$$

关键不等式：对于 $0<\alpha <1$，有 $\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )<0$。

存在常数 $\delta >0$ 使得：$\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )\le -\delta$

因此：
$$T(n)\le c^{\prime }n\lg n-c^{\prime }\delta n+cn\le c^{\prime }n\lg n$$

当 $c^{\prime }\ge c/\delta$ 时成立，所以 $T(n)=O(n\lg n)$。

下界验证

设 $T(n)\ge c^{\prime \prime }n\lg n$，其中 $c^{\prime \prime }>0$：

$$T(n)=T(\alpha n)+T((1-\alpha )n)+cn$$

$$\ge c^{\prime \prime }\alpha n\lg (\alpha n)+c^{\prime \prime }(1-\alpha )n\lg ((1-\alpha )n)+cn$$

$$=c^{\prime \prime }\alpha n[\lg \alpha +\lg n]+c^{\prime \prime }(1-\alpha )n[\lg (1-\alpha )+\lg n]+cn$$

$$=c^{\prime \prime }n\lg n+c^{\prime \prime }n[\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )]+cn$$

由于 $\alpha \lg \alpha +(1-\alpha )\lg (1-\alpha )\le -\delta <0$：

$$T(n)\ge c^{\prime \prime }n\lg n-c^{\prime \prime }\delta n+cn$$

当 $c^{\prime \prime }\le c/\delta$ 时，有 $-c^{\prime \prime }\delta n+cn\ge 0$，因此：
$$T(n)\ge c^{\prime \prime }n\lg n$$

这证明了 $T(n)=\Omega (n\lg n)$。

结论

结合上界和下界，得到 $T(n)=\Theta (n\lg n)$。

4.5 用主方法求解递归式

1. 基础理论

1.1 适用形式

主方法适用于形如以下的递归式： $$T(n)=aT(n/b)+f(n)$$

其中：

• $a\ge 1$：子问题的个数
• $b>1$：每个子问题的规模是原问题的 $1/b$
• $f(n)$：在当前层进行的工作量（除递归调用外的时间）

1.2 关键参数

临界指数：$n_{\text{crit}}={\log }_{b}a$

这个指数决定了递归部分的增长速度：

• 递归部分的复杂度为 $\Theta (n^{{\log }_{b}a})$
• $f(n)$ 与这个临界复杂度的比较决定了总体复杂度

---

2. 三种情况

2.1 递归主导

条件：$f(n)=O(n^{{\log }_{b}a-\epsilon })$，其中 $\epsilon >0$ 是常数

解：$T(n)=\Theta (n^{{\log }_{b}a})$

直观理解：工作项 $f(n)$ 增长比递归部分慢，递归部分主导总复杂度

• $T(n)=8T(n/2)+n^2$
  • $a=8,b=2,f(n)=n^2$
  • ${\log }_{b}a={\log }_{2}8=3$
  • $f(n)=n^2=O(n^{3-\epsilon })$（取 $\epsilon =1$）
  • 解：$T(n)=\Theta (n^3)$

2.2 平衡情况

条件：$f(n)=\Theta (n^{{\log }_{b}a})$

解：$T(n)=\Theta (n^{{\log }_{b}a}\log n)$

直观理解：工作项与递归部分同阶，总复杂度需要额外的对数因子

• $T(n)=2T(n/2)+n$
  • $a=2,b=2,f(n)=n$
  • ${\log }_{b}a={\log }_{2}2=1$
  • $f(n)=n=\Theta (n^1)$
  • 解：$T(n)=\Theta (n\log n)$

2.3 工作项主导

条件：$f(n)=\Omega (n^{{\log }_{b}a+\epsilon })$，其中 $\epsilon >0$，且存在常数 $c<1$ 使得对足够大的 $n$ 有： $$af(n/b)\le cf(n)$$

解：$T(n)=\Theta (f(n))$

直观理解：工作项增长比递归部分快，工作项主导总复杂度

正则性条件

额外条件 $af(n/b)\le cf(n)$ 称为正则性条件，确保工作项在各层之间以几何级数递减。

• $T(n)=2T(n/2)+n^2$
  • $a=2,b=2,f(n)=n^2$
  • ${\log }_{b}a={\log }_{2}2=1$
  • $f(n)=n^2=\Omega (n^{1+\epsilon })$（取 $\epsilon =1$）
  • 检查正则性：$af(n/b)=2(n/2{)}^2=n^2/2\le c{n}^2$（取 $c=1/2$）
  • 解：$T(n)=\Theta (n^2)$

---

3. 特殊情况和间隙问题

特殊情况

快速排序（最坏情况）

递归式：$T(n)=T(n-1)+n$

注意：这不是主方法的标准形式！主方法不适用。

间隙问题

递归式：$T(n)=4T(n/2)+n^2\log n$

分析：

• $a=4,b=2,f(n)=n^2\log n$
• ${\log }_{b}a={\log }_{2}4=2$
• $f(n)=n^2\log n$，这比 $n^2$ 大但比 $n^{2+\epsilon }$ 小(对数函数的政治上)
• 经典主方法无法直接应用

$f(n)=n^2\log n$ 落在了主方法的间隙中：

• 它比 $n^2$ 大（超出情况2）
• 但比 $n^{2+\epsilon }$ 小（不足情况3）
• 也比 $n^{2-\epsilon }$ 大（超出情况1）

对数函数 $\log n$ 具有特殊的增长性质：

• 比任何正次幂慢：$\log n=o(n^{\epsilon })$ 对任何 $\epsilon >0$
• 但比常数快：$\log n\to \infty$ 当 $n\to \infty$

注意：这种情况需要扩展的主方法或其他技术来处理