算法导论笔记：排序

增量(incremental)方法

在排好子数组$A[1\cdots j-1]$后将元素$a[j]$插入，形成排好序的子数组$A[1\cdots j]$
Input: sequence $a_1,a_2,\cdots ,a_n$ of numbers
Output: $<a_1^{\prime },a_2^{\prime },\cdots ,a_n^{\prime }>,a_i^{\prime }<a_j^{\prime }(i<j)$

插入排序

从第2开始在子序列$a_1,a_2,\cdots ,a_j$中，将$a_j$插入到合适的位置（左边的比它小，右边的比它大）.

**循环不变量（loop invariant）**的作用是证明程序的正确性。可理解为数学归纳法中的假设。在上面的算法中，我们要证明数列{A[j]}j=1n\{ A[j] \}_{j=1}^n{A[j]}j=1n​是升序排列.
证明：
循环不变量：在每一轮迭代开始，子数组$A[1,\cdots ,j-1]$中包含了最初位于$A[1,\cdots ,j-1]$，但目前已经排好序的各个元素.
$j=2$时，子数组$A[1]$满足循环不变量的定义.
假设$j=k$时成立，下证$j=k+1$时成立：易得……
当$j=n$时，因为……也成立。
综上所述，该算法是正确的.

To use a loop invariant to prove correctness, we must show three things about it:
Initialization: It is true prior to the first iteration of the loop.
Maintenance: If it is true before an iteration of the loop, it remains true before the next iteration.
Termination: When the loop terminates, the invariant usually along with the reason that the loop terminated gives us a useful property that helps show that the algorithm is correct.

算法的运行时间

第一行时间为$n$，因为跳出循环程序还需要运行一次。第二行是因为已经跳出循环了，所以只要$n-1$次.
其中$t_j$等于while循环所做的测试次数，即当 $j$ 固定以后，while循环需要测试 $j-1$ 个数据.
运行总时间$$T(n)=c_{1}n+c_2(n-1)+c_4(n-1)+c_5\sum _{j=2}^n{t}_j+c_6\sum _{j=2}^n(t_j-1)+c_7\sum _{j=2}^n(t_j-1)+c_8(n-1)$$

• 最好的情况
  第5行当$A[j-1]\le A[j]$时，对每个$j$来说，第五行只执行一次，并且第6,7行不执行.
  $$T_{best}^n=c_{1}n+c_2(n-1)+c_4(n-1)+c_5(n-1)+c_8(n-1)$$
  $$=(c_1+c_2+c_4+c_5+c_8)n-+(c_2+c_4+c_5+c_8)=an+b$$
• 最坏的情况
  $$T_{worst}^n=c_{1}n+c_2(n-1)+c_4(n-1)+c_5\frac{(1+n-1)(n-1)}{2}+c_6\frac{n(n-1)}{2}+c_7\frac{n(n-1)}{2}+c_8(n-1)$$
  $$=a{n}^2+bn+c$$

分治法(divide and conquer)

分治策略：将原问题划分为$n$个规模较小而结构与原问题相似的子问题；递归地解决这些子问题，然后再合并器结果，就得到原问题的解
时间复杂度：假设$T(n)$为一个规模为$n$的问题的运行时间。如果把问题分得足够小，如$n\le c$($c$)，则得到直接解的时间常量，写作$\Theta (1)$。假设我们把原问题分解为$a$个子问题，每个问题的大小是原问题的$\frac{1}{b}$。如果分解问题和合并问题的时间分别是$D(n),C(n)$则得到递归式
$$T(n)=\{\begin{array}{l}\Theta (1),n\le c\\ aT(n/b)+D(n)+C(n)\end{array}$$

合并排序(merge sort)

对数组$A[p\cdots r]$进行排序。将数组分成两半：$A[p\cdots q]$和$A[q+1\cdots r]$

前两行计算数组$A[p\cdots q]$和数组$A[q+1\cdots r]$的长度；第3行到底7行将数组$A[p\cdots q]$复制到$L$，数组$A[q+1\cdots r]$复制到$R$。for循环是要把排好序的数组$L,R$按照元素大小复制到数组$A$中。在这个过程中，我们需要判断数组$L$和$R$是否已经被搬空了，即指针走到了最后一位。所以我们将无穷大填到数组最后。由于我们需要对比两个数组中的元素，将小的那个放到数组$A$中。当有一个数组为空时，指针就会指向最后一位，即无穷大。因为任何数字都比无穷大小，所以该数组的指针不会再往后走了。
上述for循环的循环不变式：
子数组$A[p\cdots k-1]$包含了$L[1\cdots n_1+1]$和$R[1\cdots n_2+1]$中的$k-p$个最小的元素，并且是排好序的。

时间复杂度：
分解：计算向量中间位置，只需要常量时间.
解决：递归地解两个规模为$n/2$的子问题，时间为$2T(n/2)$
合并：merge算法的时间复杂度为$c(n)=\Theta (n)$
综上所以有:
$$T(n)=\{\begin{array}{ll}\Theta (1),& n=1\\ 2T(n/2)+cn,& n>1\end{array}$$
$$T(n)=n{\log }_{2}n=n\lg n$$