《算法导论》第三章 函数的增长

第三章 函数的增长

3-1 知识点

$\Theta$记号

$\Theta (g(n))$的含义为：存在正常量$c_1,c_2和n_0$，使得对所有 $n\ge n_0$，有 $0\le c_{1}g(n)\le f(n)\le c_{2}g(n)$。

举个例子，当分析插入排序的最坏运行时间时：

• $f(n)=\frac{a}{2}{n}^2+bn+c$
• $g(n)=n^2$

在算法导论一书中，通常使用 $f(n)=\Theta (g(n))$ 来表示与$f(n)\in \Theta (g(n))$ 相同的含义，即$\Theta (g(n))$代表一个集合，$f(n)$代表一个属于$\Theta (g(n))$的函数。

$\mathrm{O}$记号

$\mathrm{O}(g(n))$的含义为：存在正常量 $c$ 和 $n_0$，使得对所有 $n\ge n_0$，有 $0\le f(n)\le cg(n)$。

$f(n)=\mathrm{O}(g(n))$ 一般用来表示 g(n) 的某个常量倍数是 f(n) 的渐进上界，而不要求它是一个多么紧确的上界。比如,$n=O(n^2),n^2=O(n^2)$都是成立的。

当我们说运行时间为$\mathrm{O}(n^2)$ 时，意指其最坏情况运行时间为$\mathrm{O}(n^2)$。

$\Omega$记号

$\Omega (g(n))$ 的含义为：存在正常量 $c$ 和 $n_0$，使得对所有 $n\ge n_0$，有 $0\le cg(n)\le f(n)$

不是所有函数都可渐进比较

设 $f(n)=n，g(n)=n^{1+\sin x}$，则$f(n)=\mathrm{O}(g(n))，f(n)=\Omega (g(n))$ 都不成立。f(n) 与 g(n) 的函数图像如下：

练习题

3.1-1

假设 f(n) 和 g(n) 都是渐进非负函数，证明$max(f(n),g(n))=\Theta (f(n)+g(n))$。

因为两者均为渐进非负函数，所以存在正常量$n_0$，使得对所有$n\ge n_0$，都有 $f(n)>=0,g(n)>=0$。取$c_1=\frac{1}{2}，c_2=\frac{3}{2}$，则对所有 $n\ge n_0$，都有：

$c_1\ast max(f(n),g(n))\le f(n)+g(n)\le c_2\ast max(f(n),g(n))$

综上，$max(f(n),g(n))=\Theta (f(n)+g(n))$

其实，$c_1，c_2$ 有很多选择，但重要的时存在这样的选择。

3.1-2

证明：对任意实常量 a，b，其中 b > 0，有 $(n+a{)}^b=\Theta (n^b)$

为了证明上述结论，需找到正常量 $c_1,c_2,n_0$ ，使得对所有 $n\ge n_0$时，都有 $0\le c_1\ast n^b\le (n+a{)}^b\le c_2\ast n^b$。

当$n_0=2\ast |a|$ 时，无论 a 取何值，下述不等式都成立：

$|a|\le \frac{n}{2}\le n-|a|\le n+a\le n+|a|\le 2\ast n$

即

$\frac{n}{2}\le n+a\le 2n$

当 b > 0 时有：
$$\begin{array}{r}0<=(\frac{1}{2}n{)}^b\le (n+a{)}^b\le (2n{)}^b\\ 0<=(\frac{1}{2}{)}^b{n}^b\le (n+a{)}^b\le 2^b{n}^b\end{array}$$

综上，当 $c1=(\frac{1}{2}{)}^b，c2=2^b$ 时，对所有$n\ge n_0=2|a|$，都有$0\le c_1\ast n^b\le (n+a{)}^b\le c_2\ast n^b$，所以$(n+a{)}^b=\Theta (n^b)$。

3.1-3

解释“算法A的运行时间至少是$\mathrm{O}(n^2)$”这一表述是无意义的。

感觉这是个语文题。$\mathrm{O}(g(n))$ 表示运行时间的上界，与“至少”用在一起是个病句。就像说插入排序的运行时间至少是$\mathrm{O}(n^2)$。

作者的解答如下：

3.1-4

$2^{n+1}=\mathrm{O}(2^n)$成立吗？$2^{2n}=Omicron(2^n)$成立吗？

当 $c=3时$，对于所有$n\ge n_0=1$，都有$0\le 2\ast 2^n=2^{n+1}\le c\ast 2^n$，所以$2^{n+1}=\mathrm{O}(2^n)$成立。

假设存在 $c$ 及 $n_0$，使得对所有$n\ge n_0$ 都有 $0\le 2^{2n}\le c{2}^n$，同除 $2^n$得，$0\le 2^n\le c$，因为 $c$ 是常量，所以对任意大的 $n$，该不等式不可能成立，故$2^{2n}=Omicron(2^n)$不成立。

3.1-5

证明定理3.1

如果 $f(n)=\Theta (g(n))$，则存在正常量$n_0，c_1，c_2$，使得所有$n\ge n_0$，$0\le c_{1}g(n)\le f(n)\le c_{2}g(n)$，根据$\Omega (g(n))及\mathrm{O}(g(n))$的定义不难得出，此时 $f($