复杂度分析相关

一.复杂度的定义.

复杂度：复杂度是衡量一个代码质量的重要指标，主要分为时间复杂度与空间复杂度，其中又以时间复杂度更为重要.

复杂度记号：一个算法$X$的复杂度上界$O(X)$定义为$X$的运行总量多项式只保留最高次项并去掉常数后的值，例如：
$$\begin{gathered} O(3n^2+5n+7)=O(n^2) \\ O(7\sqrt{8n}+10{\log }_{3.4}n)=O(\sqrt{n}) \\ O(5n^2{\log }_{3.5}^3(100n))=O(n^2{\log }^{3}n) \\ O(2^{n+2}+8n^7)=O(2^n) \end{gathered}$$

当然有些时候常数对代码的效率影响也很大，但在复杂度计算中不予考虑.

其实记号$O$表示的只是一个上界，也就是说一个算法的复杂度为$O(n^2)$，那么它的复杂度也可以被写为$O(n^3)$.

再来一些实例解释一下吧，比如说下面这串代码：

int ans=0;
for (int i=1;i<=n;i+=5)
  for (int j=n;j>=10;--j)
    for (int k=1;k<=n;k+=2) ++ans;

这串代码的时间复杂度就是$O(n^3)$.

在比如说下面这串代码：

int ans=0;
for (int i=1;i<=n;i<<=1)
  for (int j=2;j<1<<i;++j)
    for (int k=4;k*k<=n;++k) ++ans;

这串代码的时间复杂度就是$O(2^n\sqrt{n}\log n)$.

除此之外，复杂度还有记号例如$\Omega (n)$和$\Theta (n)$，其中$\Omega$表示下界，$\Theta$表示上下都有界.


二.积分估计计算时间复杂度.

若对于某一个和式：
$$\sum _{i=1}^{n}f(i)$$

其中$f(x)$是一个多项式，但这个东西并不好估计它的具体值，我们该如何计算呢？

有一个非常简单的方法，直接将这个和式看成积分的离散表示，然后直接用积分算复杂度.

由于复杂度计算的只是大概值，所以这样算是没有关系的.

也就是说：
$$O\left(\sum _{i=1}^{n}f(i)\right)=O\left({\int }_1^{n}f(i)\mathrm{d}i\right)$$

一个经典的例子是计算如下和式在复杂度表示中的值：
$$O\left(n\sum _{i=1}^n\frac{1}{i}\right)=O\left(n{\int }_{i=1}^n\frac{1}{i}\mathrm{d}i\right)=O(n\log n)$$

三.主定理.

对于一个递归函数：
$$T(n)=aT(\frac{n}{b})+f(n)$$

如何计算$O(T(n))$呢？

主定理：对于$T(n)=aT(\frac{n}{b})+f(n)$，则有：
$$O(T(n))=\{\begin{array}{cc}O(n^{{\log }_{b}a})& \exists k>0\Rightarrow f(n)=O(n^{{\log }_{b}a-k})\\ O(n^{{\log }_{b}a}{\log }^{k+1}n)& \exists k>0\Rightarrow f(n)=O(n^{{\log }_{b}a}{\log }^{k}n)\\ O(f(n))& \exists k>0\Rightarrow f(n)=\Omega (n^{{\log }_{b}a+k})\end{array}$$

有了主定理我们就可以算很多分治算法的复杂度了，例如：
$$\begin{gathered} T(n)=2T(\frac{n}{2})+O(1)\Rightarrow O(T(n))=O(n) \\ T(n)=T(\frac{n}{2})+O(1)\Rightarrow O(T(n))=O(\log n) \\ T(n)=2T(\frac{n}{2})+O(n\log n)\Rightarrow O(T(n))=O(n{\log }^{2}n) \\ T(n)=2T(\frac{n}{2})+O(n^2)\Rightarrow O(T(n))=O(n^2) \end{gathered}$$


四.均摊分析.

有些时候，一个算法有$n$步，处理每一步的时候复杂度可能达到$O(n)$，但其总复杂度却可以保证$O(n)$，是不是非常神奇？

是的，确实有这种算法，而且还有不少，例如KMP就是其中最经典的一种.

那么它的复杂度是怎么保证的呢？有一个叫均摊复杂度方法可以证明.

例如KMP的时间复杂度分析过程：我们注意到KMP的每执行一次$j=next[j]$都会使得$j$至少$-1$，而总共$n$步中$j$每步最多只能$+1$，且$j$无论何时都是$>0$的，所以它的复杂度是$O(n)$的.

这就是一种均摊时间复杂度的方法.