编程技巧-使用内存缓存技术加速IO

最新推荐文章于 2023-11-29 20:12:31 发布

XiaoYNil

最新推荐文章于 2023-11-29 20:12:31 发布

阅读量1.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： C/C++

本文链接：https://blog.youkuaiyun.com/XiaoY_H/article/details/52763430

C/C++ 专栏收录该内容

20 篇文章

订阅专栏

本文介绍了一种通过内存缓存技术来提高文件写入效率的方法。在开发过程中，对于大量数据写入的需求，直接使用fwrite等IO函数会导致程序执行缓慢。文中提供了一个使用16MB缓存的具体实例，并对比了使用与未使用缓存的情况，结果显示使用缓存显著提升了程序运行速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

频繁的调用fwrite等IO函数会使得程序执行很慢，使用内存缓存进行加速是一种有效的方法。

14年在进行一项开发任务时，由于需要写入几十GB的文件，苦于执行效率，就使用了缓存技术，效果还蛮好。

由于最近要用到，就分享一下吧（虽然这个可能百度出来都是一大片~）。

直接贴代码，使用了16MB的缓存，具体使用多大的缓存是不固定的，自己根据实际项目需要有所调整。

#include "stdafx.h"
#include <iostream>
#include <time.h>

typedef unsigned char uchar;
#define USING_CACHE
int _tmain(int argc, _TCHAR* argv[])
{
	FILE * fp = fopen("test", "wb");
	const int unit_size = sizeof(int);
	long sp, ep;
#ifdef USING_CACHE
	const unsigned int cacheSize = 16000000;		//16mB缓存
	uchar * cache = (uchar *)malloc(cacheSize);
	int CachePtr = 0;
#endif
	sp = clock();
	for (int i = 0; i < 10000; i++)
	{
		for (int j = 0; j < 10000; j++)
		{
#ifdef USING_CACHE
			*(int *)(cache + CachePtr) = j;		//写入缓存
			CachePtr += unit_size;				//缓存地址
			if (CachePtr == cacheSize)			//缓存写满时需要写入内存
			{
				fwrite(cache, 1, cacheSize, fp);
				CachePtr = 0;
			}
#else
			fwrite(&j, 1, unit_size, fp);
#endif
		}
	}
	ep = clock();
	printf("Cost %d ms", ep - sp);
	getchar();
	return 0;
}

实验结果（单位：ms）：