《编程珠玑》--第一章开山

最新推荐文章于 2018-05-08 22:05:07 发布

转载最新推荐文章于 2018-05-08 22:05:07 发布 · 405 阅读

编程珠玑专栏收录该内容

3 篇文章

订阅专栏

探讨在一兆字节(MB)的有限内存空间中，如何高效地对一千万个整数进行排序的方法。介绍了位图表示法的应用，以及通过多次遍历优化内存使用的策略。

位图表示法：输入范围小，不包含重复数据，没有数据与单个整数以外的每一记录相关联。

题目：

如何在1MB的空间里面对一千万个整数进行排序？并且每个数都小于1千万。实际上这个需要1.25MB的内存空间（这里所说的空间是考虑用位图表示法时，每一位代表一个数，则1千万/(1024*1024*8) 约为1.25MB ）。

1MB总共有8388608个可用位。所以估计也可以在1MB左右的空间里面进行排序了。

分析：

1）基于磁盘的归并排序（耗时间）

2）每个号码采用32位整数存储的话，1MB大约可以存储250 000 个号码，需要读取文件40趟才能把全部整数排序。（耗时间）

3）位图法，采用一个1千万位的字符串表示每个数，比如{0,2,3}表示为 1 0 1 1 0 0 0 0 。（说明：左边第一位表示 0 第二位表示1 第三位表示 2 。如果有则表示为1，否则为0）遍历每一个整数，有则标记为1，否则标记为0。然后按顺序输出每个整数。这种方法实际需要1.25MB内存，如果可以方便弄到内存的话可以采用此种方法。

4）假如严格限制为1MB，可以采用的策略：两次遍历或者除去第一位为0或1的整数。

解释：1.考虑到没有以数字0或1开头的电话号码，可以省略对这些数的操作。

2.两次遍历：对 1 ---4999 999之间的数排序，需要存储空间为：5000 000/8 =625 000 字节（8为一个字节中的位数）

对 5000 000 -10000 000 之间的数排序。

3.如果需要采用k趟算法，方法类似。

源码：

[html] view plain copy

#include <stdio.h>
#include <stdlib.h>
#define SHIFT 5
#define MASK 0x1F
#define N 10000000
int a[1 + N/32];
void set(int i) { a[i>>SHIFT] |= (1<<(i & MASK)); }
void clr(int i) { a[i>>SHIFT] &= ~(1<<(i & MASK)); }
int test(int i){ return a[i>>SHIFT] & (1<<(i & MASK)); }
int main()
{ int i = 0;
//int top = 1 + N/BITSPERWORD;
//memset(a, 0, sizeof(a)*sizeof(int));
while (scanf("%d", &i))
set(i);
for (i = 0; i < N; i++)
if (test(i))
printf("%d\n", i);
return 0;
}

课后的题目：

1、使用库函数来进行排序

[html] view plain copy

#include <stdio.h>
#include <stdlib.h>
#define ms 1025
int a[ms];
int cmp(const void *a, const void *b)
{
return (*(int*)a) - (*(int*)b);
}
int main(void)
{
int n, i;
while (scanf("%d", &n) != EOF)
{
for (i = 0; i < n; ++i) scanf("%d", &a[i]);
qsort(a, n, sizeof(int), cmp);
for (i = 0; i < n - 1; ++i) printf("%d ", a[i]);
printf("%d\n", a[i]);
}
return 0;
}

使用set容器

[html] view plain copy

#include <iostream>
#include <set>
using namespace std;
int main()
{
set<int> S; //STL容器内部采用红黑树作为排序数据结构
int i;
set<int>::iterator j;
while(cin>>i)
S.insert(i);
for(j=S.begin();j!=S.end();++j)
cout<<*j<<endl;
return 0;
}

2、使用位运算

[html] view plain copy

void set(int i) { a[i>>SHIFT] |= (1<<(i & MASK)); }
void clr(int i) { a[i>>SHIFT] &= ~(1<<(i & MASK)); }
int test(int i) { return a[i>>SHIFT] & (1<<(i & MASK)); }

3、比较位图排序与系统排序

位图排序是最快的，针对这个问题而言，qsort比stl sort速度快。

4、随机生成[0, n)之间不重复的随机数(关键思想为：先把所有可能数顺序放到数组，然后打乱顺序，则保证不重复)

[html] view plain copy

for (i = 0; i < n; ++i)
a[i] = i;
for (i = 0; i < n; ++i)
{
pos = rand()%(n - i) + i;
t = a[i]; a[i] = a[pos]; a[pos] = t;
}

5、如果1MB是严格控制的空间，如果数据有1.25MB的bit数目。那么应该是需要读取2次。

k = 需要跑几趟直接用需要排序的数据量/内存空间bit数，往上取整则可。

时间开销 = kn

空间开销 n/k

注意的是，每次在扫描的时候，取数据的范围是不一样的。

6、如果每个数据出现最多10次，那么需要4个bit位来刻录一个数。这时存储空间减小至原来的1/4。

那么如果一定要按照bitmap的方式来进行处理，则需要利用5题中的结论。

7、问题：[R. Weil]本书1.4 节中描述的程序存在一些缺陷。首先是假定在输入中没有出现两次的整数。如果某个数出现超过一次的话，会发生什么？在这种情况下，如何修改程序来调用错误处理函数？当输入整数小于零或大于等于n时，又会发生什么？如果某个输入不是数值又如何？在这些情况下，程序该如何处理？程序还应该包含哪些明智的检查？描述一些用以测试程序的小型数据集合，并说明如何正确处理上述以及其他的不良情况。

如果某个数出现超过一次的话，会发生什么？

会被忽略掉，因为原来的程序本身就是用来处理只出现一次的情况的。

在这种情况下，如何修改程序来调用错误处理函数？

[html] view plain copy