C语言版的磁盘文件分片归并排序函数(转)

      这是一个很老的的C函数，用来实现大的磁盘文件排序。在以前DOS操作系统下，对磁盘文件的排序一般有3种方法：1、将磁盘文件装入内存排序，将排序结果保存到新的文件，这适用于很小的（64K以内）、不需要经常索引的文件；2、对磁盘文件按关键字进行分块排序后，形成一个索引文件。块的大小一般为512K，常采用B+树或者B-数算法，这种方法适用于需要经常索引的磁盘文件，如DBF文件；3、把磁盘文件分片排序后，形成很多排序片文件，然后将这些排序片文件合并起来，输出为一个排序文件，这种方法适用于很大的、但又不需要经常索引的磁盘文件。

        可见，在DOS有限的内存条件下，磁盘文件分片归并排序是使用比较广泛的一种外存储器排序算法。现在计算机的物理内存一般足够大（最小的也有256MB吧），Windows的虚拟内存更是多达4个GB（对每一个应用程序而言），这对于很多磁盘文件的内存排序应该是足够了，况且现在的记录文件都放在各种数据库中，所以磁盘文件分片归并排序算法可能没有市场了（不过内存多路归并排序还是有市场的）。作为怀旧，把代码贴在这里，以免“失传”！

/**************************************************************************
*  文  件  名 : MERGE.H                                                   *
*  编  制  人 : 湖北省公安县统计局  毛 泽 发                              *
*  日      期 : 1991.8                                                    *
**************************************************************************/

#define S_IREAD         0x0100
#define S_IWRITE        0x0080

#if defined(__TINY__) || defined(__SMALL__) || defined(__MENIUM__)
#define SSIZE     25600    /* 排序缓冲区字节 */
#define NULL      0
#else
#define SSIZE     65024    /* 排序缓冲区字节 */
#define NULL      0L
#endif
#define MAXMERGE  4        /* 排序合并每趟每次最大片 */
#define MAXMEREC  (SSIZE / (MAXMERGE + 1)) /* 文件最大记录长 */

typedef int cdecl mercmpf(const void *, const void *);

/* 通用排序函数.
     参  数:排序文件名;原文件名;原文件头字节数;文件记录长;用户提供的比较函数.
     返回值:成功 > 0;内存不够.记录超长返回 0;文件操作出错 -1 */
int fmerge(char *foname, char *finame, int ftops, int lrd, mercmpf *cmpf);

/**************************************************************************
*  文  件  名 : MERGE.C                                                   *
*  编  制  人 : 湖北省公安县统计局  毛 泽 发                              *
*  日      期 : 1991.8                                                    *
**************************************************************************/

#include <io.h>
#include <string.h>
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include "merge.h"

static mercmpf *mercmp = NULL;   /* 比较函数 */

static char *merbuf = NULL;  /* 排序动态缓冲区 */
static char *filetop = NULL; /* 原文件文件头存放动态缓冲区 */
static int filetopchs;       /* 原文件文件头长 */
static int merlrd;           /* 文件记录长 */

static int outfile(char *fname, unsigned size, int flag);
static int formerge(char *foname, char *finame, char *tmp, unsigned m);
static domerge(char *foname, char *tmp1, char *tmp2, int irun);
static void smerge(int *md, int m, char *buf[], int outf, char *outbuf, int size);
static int dopass(char *name1, char *name2, int irun);

/* 通用排序函数.
     参  数:排序文件名;原文件名;原文件头字节数;文件记录长;用户提供的比较函数.
     返回值:成功 > 0;内存不够.记录超长返回 0;文件操作出错 -1 */
int fmerge(char *foname, char *finame, int ftops, int lrd, mercmpf *cmpf)
{
  char tmp1[68], tmp2[68];
  int irun;
  unsigned size;
  if(lrd > MAXMEREC) return 0;   /* 记录超长 */
  merlrd = lrd;
  size = (SSIZE / lrd) * lrd;    /* 排序缓冲区实际长 */
  if((merbuf = (char *)malloc(size)) == NULL) return 0; /* 分配动态缓冲区 */
  if(ftops && (filetop = (char *)malloc(ftops)) == NULL) return 0;
  filetopchs = ftops;
  mercmp = cmpf;
  strcpy(tmp1, "&&&1");   /* 临时文件名 */
  strcpy(tmp2, "&&&2");
  irun = formerge(foname, finame, tmp1, size); /* 分片排序 */
  if(irun > 1)                                 /* 如果排序片大于 1 */
    irun = domerge(foname, tmp1, tmp2, irun);  /* 合并排序片 */
  free(merbuf);
  if(filetopchs) free(filetop);
  return irun;
}
/* 写一排序片文件 */
static int outfile(char *fname, unsigned size, int flag)
{
  int h, c;
  if((h = open(fname, O_WRONLY | O_CREAT | O_TRUNC | O_BINARY, S_IWRITE)) == -1)
    return -1;
  if(flag && filetopchs) /* 如果是最终文件同时原文件有文件头 */
    write(h, filetop, filetopchs); /* 写入文件头内容 */
  c = write(h, merbuf, size);      /* 写排序片到文件 */
  close(h);
  return c;
}
/* 分片排序 */
static int formerge(char *foname, char *finame, char *tmp, unsigned m)
{
  unsigned irun, ret;
  int f, flag = 0;
  char tmpname[68];
  if((f = open(finame, O_RDONLY | O_BINARY)) == -1) return -1;/* 打开原文件 */
  if(filetopchs)   /* 如有文件头,保存其内容到缓冲区 */
    read(f, filetop, filetopchs);
  irun = 0;
  do{
    ret = read(f, merbuf, m);  /* 读一排序片到排序缓冲区 */
    if(ret == 0 || ret == 0xffff) break; /* 原文件结束或出错,退出 */
    qsort(merbuf, ret / merlrd, merlrd, mercmp); /* 排序 */
    if(ret == m || irun > 0)   /* 如原文件长大于或等于一排序片长 */
      sprintf(tmpname, "%s.%03d", tmp, irun); /* 采用临时文件名 */
    else{                      /* 否则,直接用排序文件名 */
      strcpy(tmpname, foname);
      flag = 1;                /* 最终文件标记 */
    }
    ret = outfile(tmpname, ret, flag); /* 写排序片 */
    irun ++;
  }while(ret == m);
  close(f);
  if(ret == 0xffff) return ret;  /* 出错返回 -1 */
  return irun;                   /* 返回排序片数 */
}
/* 分配每一合并趟不同临时文件名;控制合并趟数 */
static domerge(char *foname, char *tmp1, char *tmp2, int irun)
{
  char *p;
  while(irun > 1){
    if(irun <= MAXMERGE) strcpy(tmp2, foname);
    irun = dopass(tmp1, tmp2, irun);
    p = tmp1;
    tmp1 = tmp2;
    tmp2 = p;
  }
  return irun;
}
/* 执行合并趟,计算.分配每次合并所需文件数,缓冲区大小,控制每次合并的执行 */
static int dopass(char *name1, char *name2, int irun)
{
  int fi, i, nrun, m, size;
  char oname[68], inname[68], *p[MAXMERGE], *q;
  int md[MAXMERGE], fo;
  size = SSIZE / merlrd;  /* 合并缓冲区容纳记录数 */
  nrun = 0;
  for(fi = 0; fi < irun; fi += MAXMERGE){
    m = irun - fi;    /* 每次合并实际排序片数 */
    if(m > MAXMERGE) m = MAXMERGE;
    for(i = 0; i < m; i ++) p[i] = merbuf + (i * merlrd); /* 分配读缓冲区 */
    if(irun <= MAXMERGE) strcpy(oname, name2); /* 最终合并形成排序文件 */
    else sprintf(oname, "%s.%03d", name2, nrun);/* 中间合并采用临时文件 */
    if((fo = open(oname, O_WRONLY | O_CREAT | O_TRUNC | O_BINARY, S_IWRITE)) == -1)
      break;  /* 打开写文件 */
    i = 0;
    do{ /* 分别打开读文件 */
      sprintf(inname, "%s.%03d", name1, fi + i);
      md[i] = open(inname, O_RDONLY | O_BINARY);
    }while(md[i ++] != -1 && i < m);
    if(i != m){
      close(fo);
      for(fi = 0; fi < i; fi ++) close(md[fi]);
      break;
    }
    if(irun <= MAXMERGE && filetopchs) /* 最终合并写文件头(如有) */
      write(fo, filetop, filetopchs);
    q = merbuf + (m * merlrd);        /* 分配写缓冲区 */
    smerge(md, m, p, fo, q, size - m); /* 合并 */
    for(i = 0; i < m; i ++){  /* 删除各排序片文件 */
      close(md[i]);
      sprintf(inname, "%s.%03d", name1, fi + i);
      unlink(inname);
    }
    close(fo);
    nrun ++;
  }
  if(nrun != (irun + MAXMERGE - 1) / MAXMERGE) return -1;
  return nrun;
}
/* 执行实际排序片合并 */
static void smerge(int *md, int m, char *buf[], int outf, char *outbuf, int size)
{
  int i, j, n = merlrd, w = merlrd * size;
  char *s = buf[0], *p, *q = outbuf, *end = q + w;
  for(i = 0; i < m; i ++)   /* 从各片文件中读第一条记录 */
    read(md[i], buf[i], n);
  while(1){
    if(n == merlrd){        /* 如各片文件均有记录,各片记录反向插入排序 */
      for(i = 1; i < m; i ++){
    for(p = buf[i], j = i - 1; j >= 0 && mercmp(p, buf[j]) > 0; j --)
      buf[j + 1] = buf[j];
    buf[j + 1] = p;
      }
    }
    else m --;  /* 一片文件内容结束 */
    if(!m){     /* 如所有片文件结束,写缓冲区残余记录,退出 */
      if(q != outbuf) write(outf, outbuf, q - outbuf);
      break;
    }
    if(q == end){  /* 刷新一次写缓冲区到文件 */
      if(write(outf, outbuf, end - outbuf) != w) break;
      q = outbuf;
    }
    i = m - 1;
    j = (buf[i] - s) / merlrd;
    memmove(q, buf[i], merlrd); /* 将各片记录中值最小(大)者移入写缓冲区 */
    q += merlrd;
    n = read(md[j], buf[i], merlrd); /* 从该片中读下一记录,继续 */
  }
}

        可以看到，上面2个文件时间是1991年的，真是老古董了，如MERGE.H文件开头就没有什么诸如#ifndef        __MERGE_H......的代码，我记得那个时候好像没这个写法的。函数里面当初也作了很详细的注释，所以算法就不再讲了（要讲我还得先分析代码，早忘记了 ^_^ ）。

        为了示范该函数的使用方法，我还是用BCB6写了一个简单的演示程序，如果你想试一下老古董，不妨也写一个？可以将MERGE.H文件中的排序缓冲区加大一些，可提高排序速度。

//---------------------------------------------------------------------------
#include <stdio.h>
#include <stdlib.h>
#include "merge.h"

#pragma hdrstop

#define TOPSTRING       "湖北省公安县统计局  毛 泽 发"
#define TOP_SIZE        30
#define RECORD_SIZE     53
#define RECORD_COUNT    10000

//---------------------------------------------------------------------------
/* 为了方便观察，随机生成了一个RECORD_COUNT行的文本文件 */
void MakeFile(char *filename)
{
    int i, j;
    long v[4];
    FILE *f;
    f = fopen(filename, "w");
    fprintf(f, "%s ", TOPSTRING);
    randomize();
    for (i = 0; i < RECORD_COUNT; i ++)
    {
        for (j = 0; j < 4; j ++)
            v[j] = random(0x7fffffff);
        fprintf(f, "%12ld %12ld %12ld %12ld ", v[0], v[1], v[2], v[3]);
    }
    fclose(f);
}

int cdecl CompRecord(const void *ra, const void *rb)
{
    int a[4], b[4];
    int i, n;
    sscanf((char*)ra, "%ld%ld%ld%ld", &a[0], &a[1], &a[2], &a[3]);
    sscanf((char*)rb, "%ld%ld%ld%ld", &b[0], &b[1], &b[2], &b[3]);
    for (n = 0, i = 0; i < 4 && n == 0; i ++)
        n = a[i] - b[i];
    return n;
}

#pragma argsused
int main(int argc, char* argv[])
{
    printf("正在随机制造一个文本文件d:/test.txt... ");
    MakeFile("d:/test.txt");
    printf("正在进行磁盘文件排序，排序文件d:/sort.text... ");
    fmerge("d:/sort.txt", "d:/test.txt", TOP_SIZE, RECORD_SIZE, CompRecord);
    printf("磁盘文件排序完毕! ");
    system("pause");
    return 0;
}
//---------------------------------------------------------------------------
       如有错误，或者你有什么好的建议请来信：maozefa@hotmail.com

        发现代码贴上去总是走样，文件路径‘//’也成了‘/’，‘/n’也没了，MakeFile的2句写记录语句应该分别是，不然，测试会出问题：

fprintf(f, "%s/n", TOPSTRING);

和

fprintf(f, "%12ld %12ld %12ld %12ld/n", v[0], v[1], v[2], v[3]);

 

本文来自优快云博客，转载请标明出处：http://blog.youkuaiyun.com/maozefa/archive/2008/01/03/2023395.aspx