数据结构与算法（七）排序算法

一、排序的基本概念与分类
　　排序的定义：
　　　　假设含有n个记录的序列为{r1,r2,……,rn}，其相应的关键字分别为{k1,k2,……,kn}，需确定1,2，……，n的一种排列p1，p2，……，pn，使其相应的关键字满足kp1<=kp2<=……<=kpn非递减（或非递增）关系，即使得序列成为一个按关键字有序的序列{rp1,rp2,……,rpn}，这样的操作就称为排序。注意我们在排序问题中，通常将数据元素称为记录，显然我们输入的是一个记录集合，输出的也是一个记录的集合，所以说，可以将排序看成是线性表的一种操作。排序的依据是关键字之间的大小关系，那么，对同一个记录集合，针对不同的关键字进行排序，可以得到不同的序列。
　　　　排序是数据处理中经常执行的一种操作，往往属于系统的核心部分，因此排序算法的时间开销是衡量其好坏的最重要的标志；在内排序中，主要进行两种操作：比较与移动。比较指关键字之间的比较，这是要做排序的最起码的操作。移动指记录从一个位置移动到另一个位置，事实上，移动可以通过改变记录的存储方式来予以避免。总之，高效率的内排序算法应该是具有尽可能少的关键字比较次数和尽可能少的记录移动次数。
　　排序的稳定性：
　　　　　稳定排序：如果a原本在b的前面，而a=b，那么排完序之后a仍然在b的前面；
　　　　　不稳定排序：如果a原本在b的前面，而a=b，那么排完序之后a可能会在b的后面；
　　内排序与外排序：
　　　　　内排序：所有的排序操作都是在内存中完成的；
　　　　　外排序：由于数据太大，因此需要把数据放在磁盘中，而排序通过磁盘和内存的数据传输才能进行；
　　复杂度：
　　　　　时间复杂度：一个算法执行所耗费的时间；
　　　　　空间复杂度：运行完一个程序所需要的内存空间大小；

二、算法的分类

三、冒泡排序（Bubble Sort）
　　冒泡排序是一种简单的排序算法，它的基本思想是：重复的走访要排序的数列，一次比较两个元素，如果它们的顺序错误就把它们交换过来。走访数列的工作是重复的进行直到没有再需要交换的元素为止，也就是说该数列已经排序完成了，这个算法的名字由来是因为越小的元素会经由交换慢慢“浮”到数列的顶端。
　　算法描述：
　　　　步骤1：比较相邻的元素，如果第一个比第二个大，就交换它们两个；
　　　　步骤2：对每一对相邻元素做同样的工作，从开始第一对到结尾的最后一对，这样在最后的元素应该会是最大的数；
　　　　步骤3：针对所有的元素重复以上的步骤，除了最后一个；
　　　　步骤4：重复步骤1~3，直到排序完成；
　　
四、选择排序（Selection Sort）
　　选择排序是表现最稳定的排序算法之一，因为无论什么数据进去都是O(n2)的时间复杂度，所以用到它的时候，数据规模越小越好；唯一的好处就是不占用额外的内存空间；它的基本思想是：首先在未排序的序列中找到最小（大）的元素，存放到排序序列的起始位置，然后，再从剩余未排序元素中继续寻找最小（大）的元素，然后放到已排序序列的末尾，以此类推，直到所有元素均排序完毕。
　　算法描述：
　　　　n个记录的直接选择排序可经过n-1趟直接选择排序得到有序结果，具体算法描述如下：
　　　　步骤1：初始状态：无序区为R[1…n]，有序区为空；
　　　　步骤2：第i趟排序(i=1,2,3…n-1)开始时，当前有序区和无序区分贝为R[1…i-1]和R(i…n)。该趟排序从当前无序区中选出
　　　　　　　关键字最小的记录R[k]，将它与无序区的第1个记录R交换，使R[1…i]和[i+1…n]分别变为记录个数增加1个的有序
　　　　　　　区和记录个数减少1个的新无序区；
　　　　步骤3：n-1趟结束，数组有序化了；

五、插入排序（Insertion Sort）
　　插入排序的算法描述的是一种简单直观的排序算法。它的工作原理是通过构建有序序列，对于未排序数据，在已排序中从后向前扫描，找到相应的位置并插入。插入排序在实现上，通常采用in-place排序（即只需要O(1)的额外空间的排序），因而在从后向前扫描的过程中，需要反复把已排序元素逐步向后挪位，为最新元素提供插入空间。
　　算法描述：
　　　　一般来说，插入排序都采用in-place在数组上实现，具体算法描述入下：
　　　　步骤1：从第一个元素开始，该元素可以认为已经被排序；
　　　　步骤2：取出下一个元素，在已经排序的元素序列中从后向前扫描；
　　　　步骤3：如果该元素（已排序）大于新元素，将该元素移动到下一位置；
　　　　步骤4：重复步骤3，直到找到已排序的元素小于或者等于新元素的位置；
　　　　步骤5：将新元素插入到该位置后；
　　　　步骤6：重复步骤2~5；

六、希尔排序（Shell Sort）
　　希尔排序是希尔于1959年提出的一种排序算法，希尔排序是一种插入排序，它是简单插入排序经过改进之后的一个更高效的版本，也称为缩小增量排序，同时该算法是冲破O(n2)的第一批算法之一。它与插入排序的不同之处在于它会优先比较距离较远的元素，所以希尔排序又叫做缩小增量排序；它的基本思想是把记录按下表的一定增量分组，对每组使用直接插入排序算法排序；随着增量逐渐减少，每组包含的关键词越来越多，当增量减至1时，整个文件恰被分成一组，算法便终止。
　　算法描述：
　　　　我们来看下希尔排序的基本步骤，在此我们选择增量gap=length/2，缩小增量继续以gap=gap/2的方式，这种增量选择我
　　　　们可以用一个序列来表示，{n/2，(n/2)/2……1}，称为增量序列。希尔排序的增量排序的选择与证明是个数学难题，我们
　　　　选择的这个增量序列是比较常用的，也是希尔建议的增量，称为希尔增量，但其实这个增量序列不是最优的，次数我们
　　　　做示例使用希尔增量；
　　　　先将整个待排序的记录序列分隔成为若干子序列分别进行直接插入排序，具体算法描述：
　　　　步骤1：选择一个增量序列t1，t2，……，tk，其中ti>tj，tk=1；
　　　　步骤2：按增量序列个数k，对应进行k趟排序；
　　　　步骤3：每趟排序，根据对应的增量ti，将待排序列分割成若干长度为m的子序列，分别对各子表进行直接插入排序，仅
　　　　　　　增量因子为1时，整个序列作为一个表来处理，表长度即为整个序列的长度；

七、归并排序（Merge Sort）
　　和选择排序一样，归并排序的性能不受输入数据的影响，但表现比选择排序好的多，因为始终都是O(nlogn)的时间复杂度，代价是需要额外的内存空间；归并排序是建立在归并操作上的一种有效的排序算法，该算法采用的是分治法（Divide and Conquer）的一个非常典型的应用，归并排序是一种稳定的排序方法，将已有序的子序列合并，得到完全有序的序列；即先使每个子序列有序，再使子序列段间有序。若将两个有序表合并成一个有序表，称为2-路归并；
　　算法描述：
　　　　步骤1：把长度为n的输入序列分成两个长度为n/2的子序列；
　　　　步骤2：对这两个子序列分别采用归并排序；
　　　　步骤3：将两个排序好得子序列合并成一个最终的排序序列；

八、快速排序（Quick Sort）
　　快速排序的基本思想是：通过一趟排序将待排记录分隔成独立的两部分，其中一部分记录的关键字均比另一部分关键字小，则可以分别对这两部分记录继续进行排序，以达到整个序列有序。
　　算法描述：
　　　　步骤1：从数列中挑选出一个元素，称为“基准（pivot）”；
　　　　步骤2：重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准大的摆在基准后面（相同的数可以到
　　　　　　　　任一边），在这个分区退出后，该基准就处于数列的中间位置，这个称为分区（partition）操作；
　　　　步骤3：递归的（recursive）把小于基准值元素的子数列和大于基准值元素的子数列排序；

九、堆排序（Heap Sort）
　　堆排序是指利用堆这种数据结构所设计的一种排序算法，堆积是一个近似完全二叉树的结构，并同时满足堆积的性质：即子结点的键值或索引总是小于（或者大于）它的父结点。
　　算法描述：
　　　　步骤1：将初始待排序关键字序列(R1，R2……Rn)构建成大顶堆，此堆为初始的无序区；
　　　　步骤2：将堆顶元素R[1]与最后一个元素R[n]交换，此时得到新的无序区(R1,R2,…Rn-1)和新的有序区(Rn)，且满足R[
　　　　　　　　1，2…n-1]<=R[n]；
　　　　步骤3：由于交换后新的堆顶R[1]可能违反堆的性质，因此需要对当前无序区(R1，R2，……Rn-1)调整为新堆，然后再
　　　　　　　　次将R[1]与无序区最后一个元素交换，得到新的无序区(R1，R2……Rn-2)，不断重复此过程直到有序区的元素
　　　　　　　　个数为n-1，则整个排序过程完成；

十、计数排序（Counting Sort）
　　计数排序的核心在于将输入的数据值转化为键存储在额外开辟的数组空间中，作为一种线性时间复杂度的排序，计数排序要求输入的数据必须是有确定范围的整数；计数排序是一种稳定的排序算法，计数排序使用一个额外的数据C，其中第i个元素是待排序数组A中值等于i的元素的个数，然后根据数组C来将A中的元素排到正确的位置，它只能对整数进行排序。
　　算法描述：
　　　　步骤1：找出待排序的数组中最大和最小的元素；
　　　　步骤2：统计出数组中每个值为i的元素出现的次数，存入数组C的第i项；
　　　　步骤3：对所有的计数累加（从C中的第一个元素开始，每一项和前一项相加）；
　　　　步骤4：反向填充目标数组，将每个元素i放在新数组的第C(i)项，每放一个元素就将C(i)减去1；

十一、桶排序（Bucket Sort）
　　桶排序是计数排序的升级版，它利用了函数的映射关系，高效与否的关键就在于这个映射函数的确定；桶排序的基本思想是：假设输入的数据服从均匀分布，将数据分到有限数量的桶里面，每个桶再分别排序（有可能再使用别的排序算法或者是以递归的方式继续使用桶排序进行排序）。
　　算法描述：
　　　　步骤1：人为的设置一个BucketSize，作为每个桶所能放置多少个不同数值（例如当BucketSize==5时，该桶可以存放
　　　　　　　　{1,2,3,4,5}这几种数字，但是容量不限，即可以存放100个3）；
　　　　步骤2：遍历输入数据，并且把数据一个一个放到对应的桶里面去；
　　　　步骤3：对每个不是空的桶进行排序，可以使用其他排序的方法，也可以递归使用桶排序；
　　　　步骤4：从不是空的桶里把排好序的数据拼接起来；
　　　　注意：如果递归使用桶排序为各个桶排序，则当桶数量为1时要手动减少BucketSize增加下一循环桶的数量，否则会陷
　　　　　　　入死循环，导致内存溢出；

十二、基数排序（Radix Sort）
　　基数排序也是非比较的排序算法，对每一位进行排序，从最低位开始排序，复杂度为O(kn)，为数组长度，k为数组中的数的最大的位数；基数排序是按照低位先排序，然后收集；再按照高位排序，然后再收集；以此类推，直到最高层，有时候有些属性是有优先级顺序的，先按低优先级排序，再按照高优先级排序；最后次序就是高优先级高的在前，高优先级相同的低优先级高的在前，基数排序基于分别排序，分别收集，所以是稳定的。
　　算法描述：
　　　　步骤1：取得数组中的最大数，并取得位数；
　　　　步骤2：arr为原始数组，从最低位开始取每个位组成radix数组；
　　　　步骤3：对radix进行计数排序（利用计数排序使用于小范围数的特点）；

十三、排序算法的复杂度