利用文件映射和多线程技术进行大文件排序(>200万记录数)
该功能可以实现对大数据文件的快速排序,选择的开启排序的线程数不同,排序的效率就会不同。在对大文件排序时所采取的步骤为:首先会把全部数据分成若干份分别交由每一个线程独立分成分块内的排序,然后把每个线程排序完成后的排序结果进行合并形成最终的结果文件。
根据设计原理只有被指定的线程数只有是2的幂次时系统才会正确运行,所以在用户指定线程数时,系统会自动检测指定的线程数是否是2的幂次,如果是2的幂次则返回
原创
2014-06-20 11:16:52 ·
1347 阅读 ·
1 评论