C语言版的磁盘文件分片归并排序函数

        这是一个很老的的C函数，用来实现大的磁盘文件排序。在以前DOS操作系统下，对磁盘文件的排序一般有3种方法：1、将磁盘文件装入内存排序，将排序结果保存到新的文件，这适用于很小的（64K以内）、不需要经常索引的文件；2、对磁盘文件按关键字进行分块排序后，形成一个索引文件。块的大小一般为512K，常采用B+树或者B-数算法，这种方法适用于需要经常索引的磁盘文件，如DBF文件；3、把磁盘文件分片排序后，形成很多排序片文件，然后将这些排序片文件合并起来，输出为一个排序文件，这种方法适用于很大的、但又不需要经常索引的磁盘文件。

        可见，在DOS有限的内存条件下，磁盘文件分片归并排序是使用比较广泛的一种外存储器排序算法。现在计算机的物理内存一般足够大（最小的也有256MB吧），Windows的虚拟内存更是多达4个GB（对每一个应用程序而言），这对于很多磁盘文件的内存排序应该是足够了，况且现在的记录文件都放在各种数据库中，所以磁盘文件分片归并排序算法可能没有市场了（不过内存多路归并排序还是有市场的）。作为怀旧，把代码贴在这里，以免“失传”！

/* *************************************************************************
*  文  件  名 : MERGE.H                                                   *
*  编  制  人 : 湖北省公安县统计局  毛 泽 发                              *
*  日      期 : 1991.8                                                    *
************************************************************************* */

#define  S_IREAD         0x0100
#define  S_IWRITE        0x0080

#if  defined(__TINY__) || defined(__SMALL__) || defined(__MENIUM__)
#define  SSIZE     25600    /* 排序缓冲区字节 */
#define  NULL      0
#else
#define  SSIZE     65024    /* 排序缓冲区字节 */
#define  NULL      0L
#endif
#define  MAXMERGE  4        /* 排序合并每趟每次最大片 */
#define  MAXMEREC  (SSIZE / (MAXMERGE + 1)) /* 文件最大记录长 */

typedef  int  cdecl mercmpf( const   void   * ,  const   void   * );

/*  通用排序函数.
     参  数:排序文件名;原文件名;原文件头字节数;文件记录长;用户提供的比较函数.
     返回值:成功 > 0;内存不够.记录超长返回 0;文件操作出错 -1  */
int  fmerge( char   * foname,  char   * finame,  int  ftops,  int  lrd, mercmpf  * cmpf);

 

/* *************************************************************************
*  文  件  名 : MERGE.C                                                   *
*  编  制  人 : 湖北省公安县统计局  毛 泽 发                              *
*  日      期 : 1991.8                                                    *
************************************************************************* */

#include  < io.h >
#include  < string .h >
#include  < fcntl.h >
#include  < stdio.h >
#include  < stdlib.h >
#include  " merge.h "

static  mercmpf  * mercmp = NULL;    /*  比较函数  */

static   char   * merbuf  =  NULL;   /*  排序动态缓冲区  */
static   char   * filetop  =  NULL;  /*  原文件文件头存放动态缓冲区  */
static   int  filetopchs;        /*  原文件文件头长  */
static   int  merlrd;            /*  文件记录长  */

static   int  outfile( char   * fname, unsigned size,  int  flag);
static   int  formerge( char   * foname,  char   * finame,  char   * tmp, unsigned m);
static  domerge( char   * foname,  char   * tmp1,  char   * tmp2,  int  irun);
static   void  smerge( int   * md,  int  m,  char   * buf[],  int  outf,  char   * outbuf,  int  size);
static   int  dopass( char   * name1,  char   * name2,  int  irun);

/*  通用排序函数.
     参  数:排序文件名;原文件名;原文件头字节数;文件记录长;用户提供的比较函数.
     返回值:成功 > 0;内存不够.记录超长返回 0;文件操作出错 -1  */
int  fmerge( char   * foname,  char   * finame,  int  ftops,  int  lrd, mercmpf  * cmpf)
{
   char  tmp1[ 68 ], tmp2[ 68 ];
   int  irun;
  unsigned size;
   if (lrd  >  MAXMEREC)  return   0 ;    /*  记录超长  */
  merlrd  =  lrd;
  size  =  (SSIZE  /  lrd)  *  lrd;     /*  排序缓冲区实际长  */
   if ((merbuf  =  ( char   * )malloc(size))  ==  NULL)  return   0 ;  /*  分配动态缓冲区  */
   if (ftops  &&  (filetop  =  ( char   * )malloc(ftops))  ==  NULL)  return   0 ;
  filetopchs  =  ftops;
  mercmp  =  cmpf;
  strcpy(tmp1,  " &&&1 " );    /*  临时文件名  */
  strcpy(tmp2,  " &&&2 " );
  irun  =  formerge(foname, finame, tmp1, size);  /*  分片排序  */
   if (irun  >   1 )                                  /*  如果排序片大于 1  */
    irun  =  domerge(foname, tmp1, tmp2, irun);   /*  合并排序片  */
  free(merbuf);
   if (filetopchs) free(filetop);
   return  irun;
}
/*  写一排序片文件  */
static   int  outfile( char   * fname, unsigned size,  int  flag)
{
   int  h, c;
   if ((h  =  open(fname, O_WRONLY  |  O_CREAT  |  O_TRUNC  |  O_BINARY, S_IWRITE))  ==   - 1 )
     return   - 1 ;
   if (flag  &&  filetopchs)  /*  如果是最终文件同时原文件有文件头  */
    write(h, filetop, filetopchs);  /*  写入文件头内容  */
  c  =  write(h, merbuf, size);       /*  写排序片到文件  */
  close(h);
   return  c;
}
/*  分片排序  */
static   int  formerge( char   * foname,  char   * finame,  char   * tmp, unsigned m)
{
  unsigned irun, ret;
   int  f, flag  =   0 ;
   char  tmpname[ 68 ];
   if ((f  =  open(finame, O_RDONLY  |  O_BINARY))  ==   - 1 )  return   - 1 ; /*  打开原文件  */
   if (filetopchs)    /*  如有文件头,保存其内容到缓冲区  */
    read(f, filetop, filetopchs);
  irun  =   0 ;
   do {
    ret  =  read(f, merbuf, m);   /*  读一排序片到排序缓冲区  */
     if (ret  ==   0   ||  ret  ==   0xffff )  break ;  /*  原文件结束或出错,退出  */
    qsort(merbuf, ret  /  merlrd, merlrd, mercmp);  /*  排序  */
     if (ret  ==  m  ||  irun  >   0 )    /*  如原文件长大于或等于一排序片长  */
      sprintf(tmpname,  " %s.%03d " , tmp, irun);  /*  采用临时文件名  */
     else {                       /*  否则,直接用排序文件名  */
      strcpy(tmpname, foname);
      flag  =   1 ;                 /*  最终文件标记  */
    }
    ret  =  outfile(tmpname, ret, flag);  /*  写排序片  */
    irun  ++ ;
  } while (ret  ==  m);
  close(f);
   if (ret  ==   0xffff )  return  ret;   /*  出错返回 -1  */
   return  irun;                    /*  返回排序片数  */
}
/*  分配每一合并趟不同临时文件名;控制合并趟数  */
static  domerge( char   * foname,  char   * tmp1,  char   * tmp2,  int  irun)
{
   char   * p;
   while (irun  >   1 ){
     if (irun  <=  MAXMERGE) strcpy(tmp2, foname);
    irun  =  dopass(tmp1, tmp2, irun);
    p  =  tmp1;
    tmp1  =  tmp2;
    tmp2  =  p;
  }
   return  irun;
}
/*  执行合并趟,计算.分配每次合并所需文件数,缓冲区大小,控制每次合并的执行  */
static   int  dopass( char   * name1,  char   * name2,  int  irun)
{
   int  fi, i, nrun, m, size;
   char  oname[ 68 ], inname[ 68 ],  * p[MAXMERGE],  * q;
   int  md[MAXMERGE], fo;
  size  =  SSIZE  /  merlrd;   /*  合并缓冲区容纳记录数  */
  nrun  =   0 ;
   for (fi  =   0 ; fi  <  irun; fi  +=  MAXMERGE){
    m  =  irun  -  fi;     /*  每次合并实际排序片数  */
     if (m  >  MAXMERGE) m  =  MAXMERGE;
     for (i  =   0 ; i  <  m; i  ++ ) p[i]  =  merbuf  +  (i  *  merlrd);  /*  分配读缓冲区  */
     if (irun  <=  MAXMERGE) strcpy(oname, name2);  /*  最终合并形成排序文件  */
     else  sprintf(oname,  " %s.%03d " , name2, nrun); /*  中间合并采用临时文件  */
     if ((fo  =  open(oname, O_WRONLY  |  O_CREAT  |  O_TRUNC  |  O_BINARY, S_IWRITE))  ==   - 1 )
       break ;   /*  打开写文件  */
    i  =   0 ;
     do {  /*  分别打开读文件  */
      sprintf(inname,  " %s.%03d " , name1, fi  +  i);
      md[i]  =  open(inname, O_RDONLY  |  O_BINARY);
    } while (md[i  ++ ]  !=   - 1   &&  i  <  m);
     if (i  !=  m){
      close(fo);
       for (fi  =   0 ; fi  <  i; fi  ++ ) close(md[fi]);
       break ;
    }
     if (irun  <=  MAXMERGE  &&  filetopchs)  /*  最终合并写文件头(如有)  */
      write(fo, filetop, filetopchs);
    q  =  merbuf  +  (m  *  merlrd);         /*  分配写缓冲区  */
    smerge(md, m, p, fo, q, size  -  m);  /*  合并  */
     for (i  =   0 ; i  <  m; i  ++ ){   /*  删除各排序片文件  */
      close(md[i]);
      sprintf(inname,  " %s.%03d " , name1, fi  +  i);
      unlink(inname);
    }
    close(fo);
    nrun  ++ ;
  }
   if (nrun  !=  (irun  +  MAXMERGE  -   1 )  /  MAXMERGE)  return   - 1 ;
   return  nrun;
}
/*  执行实际排序片合并  */
static   void  smerge( int   * md,  int  m,  char   * buf[],  int  outf,  char   * outbuf,  int  size)
{
   int  i, j, n  =  merlrd, w  =  merlrd  *  size;
   char   * s  =  buf[ 0 ],  * p,  * q  =  outbuf,  * end  =  q  +  w;
   for (i  =   0 ; i  <  m; i  ++ )    /*  从各片文件中读第一条记录  */
    read(md[i], buf[i], n);
   while ( 1 ){
     if (n  ==  merlrd){         /*  如各片文件均有记录,各片记录反向插入排序  */
       for (i  =   1 ; i  <  m; i  ++ ){
     for (p  =  buf[i], j  =  i  -   1 ; j  >=   0   &&  mercmp(p, buf[j])  >   0 ; j  -- )
      buf[j  +   1 ]  =  buf[j];
    buf[j  +   1 ]  =  p;
      }
    }
     else  m  -- ;   /*  一片文件内容结束  */
     if ( ! m){      /*  如所有片文件结束,写缓冲区残余记录,退出  */
       if (q  !=  outbuf) write(outf, outbuf, q  -  outbuf);
       break ;
    }
     if (q  ==  end){   /*  刷新一次写缓冲区到文件  */
       if (write(outf, outbuf, end  -  outbuf)  !=  w)  break ;
      q  =  outbuf;
    }
    i  =  m  -   1 ;
    j  =  (buf[i]  -  s)  /  merlrd;
    memmove(q, buf[i], merlrd);  /*  将各片记录中值最小(大)者移入写缓冲区  */
    q  +=  merlrd;
    n  =  read(md[j], buf[i], merlrd);  /*  从该片中读下一记录,继续  */
  }
}

        可以看到，上面2个文件时间是1991年的，真是老古董了，如MERGE.H文件开头就没有什么诸如#ifndef        __MERGE_H......的代码，我记得那个时候好像没这个写法的。函数里面当初也作了很详细的注释，所以算法就不再讲了（要讲我还得先分析代码，早忘记了 ^_^ ）。

        为了示范该函数的使用方法，我还是用BCB6写了一个简单的演示程序，如果你想试一下老古董，不妨也写一个？可以将MERGE.H文件中的排序缓冲区加大一些，可提高排序速度。

// ---------------------------------------------------------------------------
#include  < stdio.h >
#include  < stdlib.h >
#include  " merge.h "

#pragma  hdrstop

#define  TOPSTRING       "湖北省公安县统计局  毛 泽 发"
#define  TOP_SIZE        30
#define  RECORD_SIZE     53
#define  RECORD_COUNT    10000

// ---------------------------------------------------------------------------
/*  为了方便观察，随机生成了一个RECORD_COUNT行的文本文件  */
void  MakeFile( char   * filename)
{
     int  i, j;
     long  v[ 4 ];
    FILE  * f;
    f  =  fopen(filename,  " w " );
    fprintf(f,  " %s " , TOPSTRING);
    randomize();
     for  (i  =   0 ; i  <  RECORD_COUNT; i  ++ )
    {
         for  (j  =   0 ; j  <   4 ; j  ++ )
            v[j]  =  random( 0x7fffffff );
        fprintf(f,  " %12ld %12ld %12ld %12ld " , v[ 0 ], v[ 1 ], v[ 2 ], v[ 3 ]);
    }
    fclose(f);
}


int  cdecl CompRecord( const   void   * ra,  const   void   * rb)
{
     int  a[ 4 ], b[ 4 ];
     int  i, n;
    sscanf(( char * )ra,  " %ld%ld%ld%ld " ,  & a[ 0 ],  & a[ 1 ],  & a[ 2 ],  & a[ 3 ]);
    sscanf(( char * )rb,  " %ld%ld%ld%ld " ,  & b[ 0 ],  & b[ 1 ],  & b[ 2 ],  & b[ 3 ]);
     for  (n  =   0 , i  =   0 ; i  <   4   &&  n  ==   0 ; i  ++ )
        n  =  a[i]  -  b[i];
     return  n;
}

#pragma  argsused
int  main( int  argc,  char *  argv[])
{
    printf( " 正在随机制造一个文本文件d:/test.txt... " );
    MakeFile( " d:/test.txt " );
    printf( " 正在进行磁盘文件排序，排序文件d:/sort.text... " );
    fmerge( " d:/sort.txt " ,  " d:/test.txt " , TOP_SIZE, RECORD_SIZE, CompRecord);
    printf( " 磁盘文件排序完毕! " );
    system( " pause " );
     return   0 ;
}
// ---------------------------------------------------------------------------

 

       如有错误，或者你有什么好的建议请来信：maozefa@hotmail.com

        发现代码贴上去总是走样，文件路径‘//’也成了‘/’，‘/n’也没了，MakeFile的2句写记录语句应该分别是，不然，测试会出问题：

fprintf(f, "%s/n", TOPSTRING);

和

fprintf(f, "%12ld %12ld %12ld %12ld/n", v[0], v[1], v[2], v[3]);