离散数学及其应用学习笔记——主定理（Master Theorem）的证明

先贴出两个初中数学公式
使用换根公式和对数倒数性质可以得出这样的结论：

$$a^{log_bn}=n^{log_ba}$$
等比数列求和公式：

$$S_n=\frac{a_nq-a_1}{q-1}$$

这个关于f(n)的公式可以估计满足分治关系的函数的阶：如果$f(n)=af(\frac{n}{b})+g(n)$那么有：

$$f(n)=a^kf(1)+\sum_{j=0}^{k-1}a^jg(\frac{n}{b^j})$$

主定理(MasterTheorem):

设$f$是满足递推关系：

$f(n)=af(\frac{n}{b})+cn^d$

的增函数，其中$n=b^k$,$k$是一个正整数，$a\geq1$,$b$是大于1的正整数，$c$和$d$是实数，满足$c$是正的且$b$是非负的。那么$f(n)$是

1. $O(n^d)$ $a<b^d$

2. $O(n^dlogn)$ $a=b^d$

3. $O(n^{log_ba})$ $a>b^d$

怎么证明呢？可以分为三种情况来证明:

1. $a<b^d$
2. $a=b^d$
3. $a>b^d$

首先可以将$f(n)=a^kf(1)+\sum_{j=0}^{k-1}a^jg(\frac{n}{b^j})$，代入主定理递推关系，因为$g(n)=cn^d$，可以得到

$$f(n)=a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d\\ =a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d$$

由于$n=b^k$，所以$k=log_bn$

优先考虑$a=b^d$的情况：

$$f(n)=a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d\\ =a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d\\ =({b^d})^{log_bn}f(1)+cn^d\sum_{j=0}^{k-1}({b^d})^jb^{-jd}\\ =n^df(1)+cn^dk\\ =n^df(1)+cn^dlog_bn\\ $$
所以$a=b^d$时，$f(n)$是$O(n^dlogn)$

然后是$a\neq b^d$的情况，使用等比数列求和公式可以做出如下推导：

$$f(n)=a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d\\ =a^kf(1)+c\sum_{j=0}^{k-1}a^j(\frac{n}{b^j})^d\\ =a^kf(1)+cn^d\sum_{j=0}^{k-1}(\frac{a}{b^d})^j\\ =a^kf(1)+\frac{((\frac{a}{b^d})^k-1)cn^db^d}{a-b^d}\\ =a^kf(1)+\frac{(\frac{a}{b^d})^{log_bn}cb^dn^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =n^{log_ba}f(1)+\frac{(\frac{a}{b^d})^{log_bn}cb^dn^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =n^{log_ba}f(1)+\frac{{n^{log_b{\frac{a}{b^d}}}}cb^dn^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =n^{log_ba}f(1)+\frac{{n^{log_ba}}n^{-d}cb^dn^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =n^{log_ba}f(1)+\frac{{n^{log_ba}}cb^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =n^{log_ba}f(1)+\frac{{n^{log_ba}}n^{-d}cb^dn^d}{a-b^d}+\frac{n^db^dc}{b^d-a}\\ =C_1n^d+C_2n^{log_ba}$$

这里$C_1=\frac{b^dc}{b^d-a}$， $C_2=f(1)+\frac{b^dc}{a-b^d}$

我们还可以推导出结论:

当$a < b^d$

$$log_ba<log_b{b^d}=d$$

当$a > b^d$

$$log_ba>log_b{b^d}=d$$

同时使用已经得出的结论$f(n)=C_1n^d+C_2n^{log_ba}$，可以完成证明

1. $O(n^d)$ $a<b^d$

2. $O(n^{log_ba})$ $a>b^d$

至此，主定理的证明全部完成。