算法复杂性和如何计算时间复杂度

一，定义

算法的复杂性有时间复杂性和空间复杂性之分

这里考虑的是时间复杂性

通常考虑3种情况下的时间复杂性：最坏，最好和平均情况下的计算复杂性；当然可操作性最好且最有实际价值的是最坏情况下的时间复杂性

T(n)=max(t(i)) 设i是算法A的一个输入，p(i)是出现输入i的概率，算法A对于输入i的计算时间耗费为t(i)

首先了解一下几个概念。一个是时间复杂度，一个是渐近时间复杂度。前者是某个算法的时间耗费，它是该算法所求解问题规模n的函数，而后者是指当问题规模趋向无穷大时，该算法时间复杂度的数量级。

当我们评价一个算法的时间性能时，主要标准就是算法的渐近时间复杂度，因此，在算法分析时，往往对两者不予区分，经常是将渐近时间复杂度T(n)=O(f(n))简称为时间复杂度，其中的f(n)一般是算法中频度最大的语句频度。

此外，算法中语句的频度不仅与问题规模有关，还与输入实例中各元素的取值相关。

二，常见的时间复杂度

常数阶O(1){Hash表的查找}、对数阶O(log2n){二分查找}、线性阶O(n)、线性对数阶O(nlog2n){快速排序的平均复杂度}、平方阶O(n^2){冒泡排序}、立方阶O(n^3){求最短路径的Floyd算法}、k次方阶O(n^k)、指数阶O(2^n){汉诺塔}。

有如下复杂度的关系：

c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n!

其中c是一个常量，如果一个算法的复杂度为c 、 log2N 、n 、 n*log2N ,那么这个算法时间效率比较高 ，如果是 2^n , 3^n ,n!，那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意。
三，计算方法

这里我们复习一下渐近时间复杂度的表示法T(n)=O(f(n))，这里的"O"是数学符号，它的严格定义是"若T(n)和f(n)是定义在正整数集合上的 两个函数，则T(n)=O(f(n))表示存在正的常数C和n0 ,使得当n≥n0时都满足0≤T(n)≤C?f(n)。"用容易理解的话说就是这两个函数当整型自变量n趋向于无穷大时，两者的比值是一个不等于0的常 数。这么一来，就好计算了吧。（要求有一些数学极限的知识，按照洛必达法则来计算和估计具体的时间复杂度）

四，具体的举例

1、(1)设n为正整数，利用大"O"记号，将下列程序段的执行时间表示为n的函数。
(1) i=1; k=0
while(i<n)
{ k=k+10*i;i++;
}
解答：T(n)=n-1， T(n)=O(n)， 这个函数是按线性阶递增的。

(2) x=n; // n>1
while (x>=(y+1)*(y+1))
y++;
解答：T(n)=n1/2 ，T(n)=O(n1/2)， 最坏的情况是y=0，那么循环的次数是n1/2次，这是一个按平方根阶递增的函数。

(3) x=91; y=100;
while(y>0)
if(x>100)
{x=x-10;y--;}
else x++;
解答： T(n)=O(1)， 这个程序看起来有点吓人，总共循环运行了1000次，但是我们看到n没有? 没。这段程序的运行是和n无关的，就算它再循环一万年，我们也不管他，只是一个常数阶的函数。

例 2.1. 交换i和j的内容

1） sum=0；             （一次）
2） for(i=1;i<=n;i++)   （n次 ）
3）    for(j=1;j<=n;j++) （n^2次 ）
4）         sum++；       （n^2次 ）


解：T(n)=2n^2+n+1 =O(n^2)

例 2.2.

 
 

  
  
for (i=1;i<n;i++)
...{
 y=y+1;        ①
 for (j=0;j<=(2*n);j++)
    x++;           ②
}          

 
 

解：语句1的频度是n-1, 语句2的频度是(n-1)*(2n+1)=2n^2-n-1.
f(n)=2n^2-n-1+(n-1)=2n^2-2,该程序的时间复杂度T(n)=O(n^2)

例 2.3. 

 

a=0;b=1;      ①
for (i=1;i<=n;i++)　②
...{
  s=a+b;　　　　③　　
  b=a;　　　　　④
  a=s;　　　　　⑤
}


解：语句1的频度：2,        语句2的频度： n,        语句3的频度： n-1,        语句4的频度：n-1,    
语句5的频度：n-1,                                  则：T（n)=2+n+3(n-1)=4n-1=O(n).

 

例 2.4.

 

i=1;       ①
while (i<=n)
i=i*2; ②

解：语句1的频度是1,        设语句2的频度是f(n),        则：2^f(n)<=n;f(n)<=log2n    
取最大值f(n)= log2n,则该程序的时间复杂度T(n)=O(log2n )

 

例 2.5. 

  
  

   
   
for(i=0;i<n;i++)
...{
  for(j=0;j<i;j++)
  ...{     for(k=0;k<j;k++)       x=x+2;   }
}


解：当i=m, j=k的时候,内层循环的次数为k
当i=m时, j 可以取 0,1,...,m-1 ,  所以这里最内循环共进行了0+1+...+m-1=(m-1)m/2次
所以,i从0取到n, 则循环共进行了: 0+(1-1)*1/2+...+(n-1)n/2=n(n+1)(n-1)/6
所以时间复杂度为O(n^3).

  
  

我们还应该区分算法的最坏情况的行为和期望行为。如快速排序的最坏情况运行时间是O(n^2)，但期望时间是O(nlogn)。通过每次都仔细地选择基准值，我们有可能把平方情况 (即O(n^2)情况)的概率减小到几乎等于0。在实际中，精心实现的快速排序一般都能以(O(nlogn)时间运行。

下面是一些常用的记法：

访问数组中的元素是常数时间操作，或说O(1)操作。一个算法如果能在每个步骤去掉一半数据元素，如二分检索，通常它就取O(logn)时间。用strcmp比较两个具有n个字符的串需要O(n)时间 。常规的矩阵乘算法是O(n^3)，因为算出每个元素都需要将n对元素相乘并加到一起，所有元素的个数是n^2。

指数时间算法通常来源于需要求出所有可能结果。例如，n个元 素的集合共有2n个子集,所以要求出所有子集的算法将是O(2n)的。指数算法一般说来是太复杂了，除非n的值非常小，因为，在这个问题中增加一个元素就导致运行时间加倍。不幸的是，确实有许多问题 (如著名 的“巡回售货员问题”)，到目前为止找到的算法都是指数的。如果我们真的遇到这种情况， 通常应该用寻找近似最佳结果的算法替代之。