算法分析基础

一 算法分析基础

1.1 概念

算法复杂度是指算法在运行中所需要的计算机资源的量，算法分析是对该量的多少进行分析。所需资源越多，表明该算法复杂度越高；反之，算法复杂度越低。而计算机资源最重要的是时间和空间资源。因而，算法分析是对时间复杂度和空间复杂度进行分析。

---

• 时间复杂度：对算法运行时间的度量。
• 空间复杂度：对算法在运行过程中所占用存储空间大小的度量。
• 渐近复杂性态：简化算法复杂度分析的一种方法。设算法的运行时间为$T(n)$，如果存在$T^{\ast }(n)$，使得：$\underset{n\to \infty }{\lim }\frac{T(n)-T^{\ast }(n)}{T(n)}=0$则称$T^{\ast }(n)$为算法的渐近性态或渐近时间复杂性。

1.2渐近意义下的符号

• $O$(渐近上界)：若存在两个正常数$c$和$n_0$，$\forall n⩾n_0$，均有$T(n)⩽cf(n)$，则称$T(n)=O(f(n))$，也即$f(n)$是$T(n)$的上界。也即在$n$满足一定条件的范围内，函数$T(n)$的阶不高于函数$f(n)$的阶。
• $\Omega$(渐近下界)：若存在两个正常数$c$和$n_0$，$\forall n⩾n_0$，均有$T(n)⩾cf(n)$，则称$T(n)=O(f(n))$，也即$f(n)$是$T(n)$的下界。也即在$n$满足一定条件的范围内，函数$T(n)$的阶不低于函数$f(n)$的阶。
• $\theta$(渐近精确界)：若存在三个正常数$c_1,c_2,n_0$，$\forall n⩾n_0$，均有$c_{2}f(n)⩽T(n)⩽c_{1}f(n)$，则称$T(n)=\theta f(n)$。也即使用$\theta$来表示算法的精确阶。

1.3 算法运行时间$T(n)$建立的依据

1.3.1 非递归算法中的$T(n)$：

1. 选择能够衡量算法运行时间的依据（通常为算法运行时间贡献最大的基本语句）；
2. 依照该依据求出运行时间$T(n)$的表达式；
3. 采用渐近符号表示$T(n)$。

1.3.2 递归算法中的$T(n)$：

1. 决定采用什么参数作为输入规模的度量；
2. 找出对算法运行时间贡献最大的语句作为基本语句；
3. 检查对相同规模的不同输入，基本语句执行次数是否不同。如果不同，需要从最好、最坏、平均三种情况进行分别讨论；
4. 对选定的基本语句的执行次数建立递推关系式，并确定停止条件；
5. 通过计算该递推关系式得到算法时间复杂度。

1.4 算法的空间复杂度

简单来说，即是算法嵌套的深度。如斐波那契数列递归栈的空间深度为$O(n)$。

参考资料：王秋芳, 算法设计与分析[M], 清华大学出版社, 2021.