使用递归式求解算法时间复杂度

部分整理自：《算法导论》–机械工业出版社；MIT的《算法导论》公开课。
#0 渐进记号(满足某种条件的函数的集合)
直接上图（自 机械工业出版社《算法导论》第三版）：

（a）. $\Theta$ 渐进紧确界(asymptotically tight bound)

存在正常量 $n_0,c_1,c_2$ 使得: $$c_{1}g(n)\le f(n)\le c_{2}g(n)wheren\ge n_0$$那么称为$g(n)$为$f(n)$的渐进紧确界，记为：$$f(n)=\Theta (g(n))$$
例如： $f(n) = n^2 + 3n, \quad g(n) = n^2 $,则$f(n)=\Theta(g(n))=\Theta(n^2)$
$$c_1{n}^2\le n^2+3n\le c_2{n}^2=>c_1\le 1+\frac{3}{n}\le c_2$$
可知 $c_1=1,c_2=2,n_0=3$ 满足上面的不等式。
将上面的 $g(n)$ 改成 $g(n)=n^3$，那么： $$c_1{n}^3\le n^2+3n\le c_2{n}^3=>c_1{n}^3\le n^2+3n=>c_1{n}^2-n\le 3$$ 由于$c_1$为正，那么当$n\ge \frac{1}{2c_1}$, $c_1{n}^2-n$ 为增函数，特别地，当 $n>\frac{\sqrt{12c_1+1}+1}{2c_1},c_1{n}^2-n>3$ 所以$f(n)\ne \Theta (n)$

（b) . $O$ 渐进上界(asymptotically upper bound)

存在正常量 $c,n_0$, 使得：$$0\le f(n)\le cg(n)wheren\ge n_0$$ 那么称为$g(n)$为$f(n)$的渐进上界，记为：$$f(n)=O(g(n))$$

（c) . $\Omega$ 渐进下界(asymptotically lower bound)

存在正常量 $c,n_0$, 使得：$$0\le g(n)\le cf(n)wheren\ge n_0$$ 那么称为$g(n)$为$f(n)$的渐进下界，记为：$$f(n)=\Omega (g(n))$$

注意：有些资料上将$O$记为渐进紧确界，而在《算法导论》中$O$仅仅为渐进上界而非紧确上界，如:
$$n=O(n^2)$$

---

#1 为什么使用递归式
通常情况下，分析一段代码的时间复杂度，特别是递归调用，可以通过代码很方便地写出递归式。

partition(A,p,r)
x = A[r]                     // 1
i = p-1                      // 1
for j = p to r-1             // 3*（r-p）
	if A[j]<=x               
		i = i +1             
		exchange A[i] with A[j] 
exchange A[i+1] with A[r]     // 1
return i+1                    //1    

quick_sort(A,p,r)
if p < r
	q = partition(A,p,r) //划分到子规模，规模为 r-p，代价 f(r-p)
	quick_sort(A,p,q-1)  //递归调用，子规模为 q-1-p， 代价 T(q-1-p)
	quick_sort(A,q+1,r)  //递归调用，子规模为 r-q-1， 代价 T(r-q-1)

以上为快排序代码，其中$r-p$ 为排序的规模，那么快排序的时间递归式就可以写成：
$$T(r-p)=T(q-1-p)+T(r-q-1)+f(r-p)\text{where f is the cost of partition}$$
假设每次划分都能划分成相同规模的两个子规模，即 $q-1-p=r-q-1=(r-p)/2$，令 $r-p=n$，那么递归式可以写成这样：
$$T(n)=2T(n/2)+f(n)$$
由 $partition$ 代码可以得出 $f(n)=3n+4=\Theta (n)$
所以，快排序的时间递归式最终为：
$$T(n)=2T(n/2)+\Theta (n)$$

---

#2 算法时间递归式
一般情况下，算法的时间递归式都可以写成如下形式：
$$T(n)=aT(n/b)+f(n)$$
表示为：规模为 $n$，算法所耗费的时间等于划分时间 $f(n)$ 加上同样算法作用在规模为 $n/b$ 的时间$T(n/b)$的 $a$ 倍。
将递归式一直写下去：$$T(n)=aT(n/b)+f(n)=a^{2}T(n/b^2)+af(n/b)+f(n)$$
$$T(n)=a^{3}T(n/b^3)+a^{2}f(n/b^2)+af(n/b)+f(n)$$
$$T(n)=a^{4}T(n/b^4)+a^{3}f(n/b^3)+a^{2}f(n/b^2)+af(n/b)+f(n)$$
$$T(n)=a^{m}T(n/b^m)+a^{m-1}f(n/b^{m-1})+...+a^{3}f(n/b^3)+a^{2}f(n/b^2)+af(n/b)+f(n)$$
当 $b^m=n$ 即 $m=lo{g}_b^n$ ，子规模下降到 $1$, 递归式变成：
$$T(n)=a^{lo{g}_b^n}T(1)+\sum _{j=0}^{lo{g}_b^n-1}{a}^{j}f(n/b^j)$$
又 $a^{lo{g}_b^n}=n^{lo{g}_b^a}，T(1)=\Theta (1)$, 递归式变成：
T(n)=Θ(nlogba)+Θ{(∑j=0logbn−1ajf(n/bj)}.....(1)T(n)=\Theta(n^{log_b^a}) + \Theta\{(\sum_{j=0}^{log_b^n-1}a^jf(n/b^j)\}\qquad.....(1)T(n)=Θ(nlogba​)+Θ{(j=0∑logbn​−1​ajf(n/bj)}.....(1)

证明： $a^{lo{g}_b^n}=n^{lo{g}_b^a}$:
$$if:a=b>0=>lo{g}^a=lo{g}^b$$
$$lo{g}_b^{n^{lo{g}_b^a}}=lo{g}_b^{a}lo{g}_b^n$$
$$lo{g}_b^{a^{lo{g}_b^n}}=lo{g}_b^{n}lo{g}_b^a$$

---

#3 使用递归式计算快排序的时间复杂度
从写递归式：$$T(n)=2T(n/2)+\Theta (n)$$
代入式（1）得到：
$$=>T(n)=\Theta (n)+\Theta (\sum _{j=0}^{lo{g}_2^n-1}n)=\Theta (n)+\Theta (nlo{g}_2^n)=\Theta (nlo{g}_2^n)=\Omega (nlgn)$$

---

#4 常见函数的规模增长速度
$$1<lgn<n<nlgn<n^2<n^3$$