memalign vs malloc - 使用O_DIRECT参数open一个文件并读写

最新推荐文章于 2025-03-18 16:02:13 发布
转载 最新推荐文章于 2025-03-18 16:02:13 发布 · 286 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/bettersky/p/5568431.html

本文记录了一次使用ODirect参数进行文件读写的实践经历。作者在尝试以扇区单位进行读写时遇到了错误，经过排查发现是由于缓冲区地址未正确对齐导致。文章详细介绍了如何使用memalign及posix_memalign函数确保缓冲区地址为512的倍数，以实现正确的扇区对齐。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

听说使用odirect参数打开文件时能够以扇区的单位进行读写。

于是open了一个块设备文件/dev/sdo，当然还要带上读写参数O_RDWR

然后进行读写时出错了。

 

找了一会发现问题根本在于读写的buf未进行align。

这个align并非是长度进行align。因为我用alloc申请了数倍于512或4096的空间均不行。

 

后来发现是buf的地址需要align，而此操作只能通过memalign系列的函数来完成。

只要buf首地址是512的倍数，至于长度，就无所谓了。但是write/read的时候长度需要是512的整数倍。

 

 

更新：

使用memalign分配较大内存如4MB时出现segmentfault错误，转而使用posix_memalign，很好用。

转载于:https://www.cnblogs.com/bettersky/p/5568431.html

【c语言】memalign
数字人生
06-09 1520
在GNU系统中，malloc或realloc返回的内存块地址都是8的倍数（如果是64位系统，则为16的倍数）。如果你需要更大的粒度，请使用 memalign 或valloc。这些函数在头文件“stdlib.h”中声明。
再议O_DIRECT， O_DIRECT与logical_block_size
Zorro Lang Red Space
12-05 2481
之前我们说过一篇关于O_DIRECT的问题，那篇是在编译的时候需要注意的问题，编译之后就要运行，关于DIRECT I/O的使用可能很少有人会关注，特别是在C语言里直接使用。如果不是遍写很底层的I/O代码可能不会用到direct io来做什么操作，大部分也都是用默认的buffer io。前不久我们在测试的时候发现LTP也有使用DIRECT I/O的错误，在某些体系结构上会造成运行错误，当然那个问题已
[ZZ]calloc(), malloc(), realloc(), free(),alloca()
Darren的专栏
01-04 1108
<br /><br />内存区域可以分为栈、堆、静态存储区和常量存储区，局部变量，函数形参，临时变量都是在栈上获得内存的，它们获取的方式都是由编译器自动执行的。<br />利用指针，我们可以像汇编语言一样处理内存地址，C 标准函数库提供了许多函数来实现对堆上内存管理，其中包括：malloc函数，free函数，calloc函数和realloc函数。使用这些函数需要包含头文件stdlib.h。<br />四个函数之间的有区别，也有联系，我们应该学会把握这种关系，从而编出精炼而高效的程序。<br />在说明它们具
memalign的作用
02-22 1万+
转自：http://hi.baidu.com/narshben/item/ca95ca1bf43d90466926bbf5 ZZ: http://gs5689.blogbus.com/logs/36655475.html 在GNU系统中，malloc或realloc返回的内存块地址都是8的倍数（如果是64位系统，则为16的倍数）。如果你需要更大的粒度，请使用memalign或
posix_memalign 与 malloc 对比
eloudy的专栏
02-06 1310
编程中的类型对齐问题主要是处于性能考虑，如果不做对齐，那么单个数据元素的访问很容易跨在多个时钟周期上，从而导致性能下降。内建数据类型的对齐，是由编译器和C语言库的API实现中自动完成的，这对于用户是透明的，比如常用的 malloc。
c语言内存分配函数
bangaizhao7764的博客
02-24 320
void * malloc(size_t size); void * calloc(size_t count, size_t size); void * valloc(size_t size); void * realloc(void *ptr, size_t size); void * reallocf(void *ptr, size_t size); void fr...
iometer 1.1.0 重要特性说明之O_DIRECT flag重新引入（OutStanding设置失效问题）
^TT#^#@%^
02-10 2927
Iometer 2006.07.27版本在linux系统上一直存在个问题：Iometer的I/O OutStanding 的数值设置没有效果，无法做到异步测试，比如：设置为32的数值，性能测试结果与设置为1相差无几。 Iometer 1.1.0 版本已经修复这个存在8年多的严重BUG（xca1019 2012年合入devel分支），但也不能直接说彻底解决了。这个问题最早是由LIANG YANG提出，并在2006年底得到当时iometer 的维护人MING ZHANG的确认,因为在修改方案上存在分歧
ffmpeg学习五：avformat_open_input函数源码分析（以mp4文件为例）
阳光玻璃杯
12-08 1万+
上一节我们写了一个简单的程序，它可以把一个视频文件解码成多张图片。我们只是简单的使用的ffmepg提供的api来实现这一过程的，但对api具体的实现过程却一无所知，因此，从这篇博客看是，就逐步分析这些api的内部实现原理。这一节，主要分析avformat_open_input函数的具体实现。avformat_open_input函数如下：/** * Open an input stream and
4. 文件I/O：通用I/O模型
u010933311的博客
07-15 550
描述了基本文件I/O的概念。讲解了open, read, write, close, lseek 以及 ioctl基本函数
DirectIO方式读写文件（总结网上其他人的讲解以及本人自己的一定见解）
gftygff的博客
01-28 597
DirectIO方式读写文件（总结网上其他人的讲解以及本人自己的一定见解）
malloc 对比验证 posix_memalign 的功能
eloudy的专栏
07-29 409
posix_memalign 是一个 POSIX 标准定义的函数，用于在内存中分配对齐的内存块。这个函数可以确保分配的内存块满足特定的对齐要求，通常用于需要对齐内存访问的情况，比如 SIMD 指令集的使用或者特定硬件要求的内存对齐。memptr 是一个指向指针的指针，用于存储分配的内存块的起始地址。alignment 是所需的内存对齐方式，通常是 2 的幂次方，比如 4、8、16 等。size 是要分配的内存块的大小（以字节为单位）。
【C函数】memalign
叮咚的博客
08-15 7966
memalign 作用： 内存申请，区别与malloc的是，可以申请一个地址是boundary的倍数的内存块 malloc或realloc返回的内存块地址都是8的倍数（如果是64位系统，则为16的倍数）。如果你需要更大的粒度，请使用memalign或valloc。这些函数在头文件“stdlib.h”中声明。 实现： void * memalign (size_t boundary, size_t size) 参数： boundary：必须是2的幂，用来控制返回的地址是boundary倍数
O_DIRECT标志写文件
发呆健将的博客
08-05 899
为测试Linux文件系统意外掉电super_block被破坏的情况，使用O_DIRECT标志对文件进行写操作，这里记录下注意事项： O_DIRECT标志为直接跨过系统高速缓冲，直接对设备进行读写； 加入O_DIRECT标志，读写buff首地址需对其512字节，读写大小必须为512字节倍数； 源文件开头需加上#define _GNU_SOURCE，否则显示O_DIRECT未定义； #def...
linux memalign()
changli_90的专栏
08-14 1655
cell 上的DMA bus error 多半是由于传输内存开始地址不是16位对齐的。使用memalign, valloc,(见下转贴), malloc_aligned, 该函数是cell专有，包含在libmisc.h中。 以下转自http://ms.mblogger.cn/lymons/posts/9902.aspx。     在GNU系统中，malloc或realloc返回的内存块地址
memalign函数
stevewang1979的专栏
10-15 1万+
在GNU系统中，malloc或realloc返回的内存块地址都是8的倍数（如果是64位系统，则为16的倍数）。如果你需要更大的粒度，使用memalign。这些函数在头文件“stdlib.h”中声明。      在GNU库中，可以使用函数free释放memalign返回的内存块。      函数：void * memalign (size_t boundary, size_t size) 
posix_memalign函数
Erice_s的博客
07-29 870
预对齐内存分配posix_memalign
open参数O_DIRECT的学习
热门推荐
月光xia漫步
01-29 1万+
写入大文件的时候，如果在open的时候，添加“O_DIRECT”标志的话，是可以大大提高效率的。但是，添加该标志，还是有一段路要走的。 这儿只是给一个小例子，希望对大家有用。
posix_memalign函数详解
浩瀚之水的专栏
03-18 686
posix_memalign函数 是一个用于分配对齐内存的 POSIX 标准函数。它在某些场景下非常有用，例如需要分配特定对齐方式的内存以满足硬件要求（如 SIMD 指令、DMA 缓冲区等）或优化内存访问性能。
posix_memalign函数详解以及使用时的注意事项
qq_40399630的博客
05-12 1万+
前言 在编写可移植的代码的时候，所有的类型都该自然对齐，因为不对齐会导致性能下降，在大多数情况下，编译器和C库透明地帮你处理对齐问题。POSIX 标明了通过malloc( ), calloc( ), 和 realloc( ) 返回的地址对于任何的C类型来说都是对齐的。在Linux中，这些函数返回的地址在32位系统是以8字节为边界对齐，在64位系统是以16字节为边界对齐的。但是对于更大的边界，例如页面，程序员需要动态的对齐。因此，POSIX 1003.1d提供一个叫做posix_memalign( )的函数：
DirectIO
最新发布
06-25
<think>我们正在讨论DirectIO技术，这是一种绕过操作系统缓存直接操作磁盘的技术。根据用户提供的引用内容，我们可以总结如下：引用[1]和[2]介绍了DirectIO项目的目录结构和基本使用，引用[3]强调了DirectIO在特定场景下的性能优势，引用[4]则解释了DirectIO（O_DIRECT）与缓存I/O的区别。用户的问题集中在DirectIO的技术原理及使用方法上。因此，我们需要从原理和实际操作两个层面进行回答。###一、DirectIO技术原理1.**绕过缓存（BypassPageCache）**DirectIO的核心是使用`O_DIRECT`标志（Linux）或`FILE_FLAG_NO_BUFFERING`（Windows），使数据直接在用户空间缓冲区和磁盘之间传输，跳过操作系统的页缓存[^4]。2.**对齐要求（AlignmentConstraints）**-**内存缓冲区对齐**：必须按物理扇区大小对齐（通常512字节或4K）-**文件偏移对齐**：必须是扇区大小的整数倍-**传输长度对齐**：必须是扇区大小的整数倍*违反对齐会导致错误（如Linux的`EINVAL`）[^4]。*3.**性能影响**|操作类型|适用场景|性能表现||----------------|-----------------------------------|-------------------||缓存I/O|通用读写、小文件|高（利用内存缓存）||**DirectIO**|大文件传输、数据库系统|稳定（避免双缓存）|>**双缓存问题**：某些应用（如数据库）已实现自身缓存，使用系统缓存反而导致数据重复拷贝[^3]。4.**数据一致性**DirectIO确保写入完成后数据已落盘（需配合`fsync`等同步机制），避免系统崩溃时缓存丢失[^4]。###二、Linux平台实现方法####1.打开文件时启用`O_DIRECT````c#include<fcntl.h>intfd=open("data.bin",O_WRONLY|O_CREAT|O_DIRECT,0644);//关键标志```####2.分配对齐的内存缓冲区使用`posix_memalign`分配内存：```cchar*buffer;intalign_size=4096;//通常为磁盘扇区大小的整数倍if(posix_memalign((void**)&buffer,align_size,BUFFER_SIZE)!=0){//错误处理}```####3.执行对齐的读写操作```cssize_tret=write(fd,buffer,BUFFER_SIZE);if(ret==-1){perror("writeerror");}```####4.关闭文件```cclose(fd);free(buffer);//释放对齐内存```###三、Windows平台实现方法####1.打开文件时设置`FILE_FLAG_NO_BUFFERING````cHANDLEhFile=CreateFile("data.bin",GENERIC_WRITE,0,NULL,CREATE_ALWAYS,FILE_FLAG_NO_BUFFERING,//关键标志NULL);```####2.使用对齐的内存和参数```c//分配对齐内存（Windows需按扇区对齐）DWORDsectorSize;GetDiskFreeSpace(NULL,NULL,&sectorSize,NULL,NULL);char*buffer=_aligned_malloc(BUFFER_SIZE,sectorSize);//设置写入参数（偏移和长度需对齐）DWORDbytesWritten;OVERLAPPEDoverlapped={0};overlapped.Offset=0;//必须对齐overlapped.OffsetHigh=0;```####3.执行写入```cWriteFile(hFile,buffer,BUFFER_SIZE,&bytesWritten,&overlapped);```####4.清理资源```c_aligned_free(buffer);CloseHandle(hFile);```###四、DirectIO适用场景与限制####✅推荐场景1.**自缓存应用**：如MySQL、PostgreSQL等数据库[^3]2.**大文件传输**：视频处理、科学计算数据集3.**实时系统**：要求写入立即落盘的金融交易系统####⚠️使用限制1.**对齐复杂度**：开发者需手动管理内存/文件偏移对齐2.**性能损失**：小文件随机访问性能可能下降（无缓存优势）3.**平台差异**：Windows/Linux实现机制不同，需条件编译>**关键设计选择**：在Linux中，`O_DIRECT`可能引发同步元数据开销；而Windows的`FILE_FLAG_WRITE_THROUGH`可确保元数据同步[^4]。---###五、DirectIO性能优化建议1.**批量操作**：聚合小写入为大块对齐操作2.**并行化**：多线程处理独立文件段3.**结合异步I/O**：如Linux的`io_uring`或Windows重叠I/O```mermaidgraphLRA[应用程序]-->|发起DirectIO请求|B(内核)B-->|直接访问磁盘|C[存储设备]B-->|跳过PageCache|D[避免数据拷贝]```---§§相关问题§§1.如何检测磁盘扇区大小以正确配置DirectIO？2.DirectIO与内存映射文件（mmap）的性能对比？3.在数据库系统中DirectIO的具体应用案例有哪些？4.使用DirectIO时如何确保跨平台兼容性？</think>### DirectIO技术原理及使用方法详解 #### 一、DirectIO技术原理 1. **缓存I/O vs DirectI/O** - **缓存I/O**：常规文件操作（如标准`fwrite`）会经过内核页缓存（Page Cache），数据先写入内存缓存，后由系统异步刷盘[^4] - **DirectI/O**：使用`O_DIRECT`标志（Linux）或`FILE_FLAG_NO_BUFFERING`（Windows），**绕过内核缓存**，数据直接写入磁盘设备[^1][^4] $$ \text{应用层} \xrightarrow{\text{DirectIO}} \text{磁盘设备} \quad (\text{无Page Cache参与}) $$ 2. **技术优势** - 避免**双缓存问题**：对已有自缓存的应用（如数据库）可减少内存拷贝[^3] - 确保**数据持久性**：写入成功即表示数据已落盘（需配合`fsync`） - **性能提升**：大数据量场景减少内存占用和上下文切换[^3] 3. **核心约束条件** | 要素 | 要求 | 原因 | |---|---|----| | 内存缓冲区 | 地址按磁盘扇区对齐（通常512B/4K） | 避免DMA传输失败 | | 文件偏移量 | 扇区大小的整数倍 | 匹配物理扇区边界 | | 数据长度 | 扇区大小的整数倍 | 完整扇区操作 | #### 二、Linux平台实现方法 ```c #include <fcntl.h> #include <stdlib.h> int main() { // 1. 打开文件并设置O_DIRECT标志 int fd = open("data.bin", O_WRONLY | O_CREAT | O_DIRECT, 0644); // 2. 分配对齐的内存缓冲区（4K对齐示例） size_t buf_size = 4096; char *buffer; posix_memalign((void**)&buffer, 4096, buf_size); // 3. 准备数据（需确保内容长度对齐） memset(buffer, 'A', buf_size); // 4. 执行DirectIO写入 ssize_t ret = write(fd, buffer, buf_size); // 5. 确保数据物理落盘 fdatasync(fd); // 6. 释放资源 free(buffer); close(fd); } ``` #### 三、Windows平台实现 ```c #include <Windows.h> int main() { // 1. 获取磁盘扇区大小 DWORD sectorSize; GetDiskFreeSpace(NULL, NULL, &sectorSize, NULL, NULL); // 2. 打开文件（关键标志：FILE_FLAG_NO_BUFFERING） HANDLE hFile = CreateFile("data.bin", GENERIC_WRITE, 0, NULL, CREATE_ALWAYS, FILE_FLAG_NO_BUFFERING, NULL); // 3. 分配对齐内存 char* buffer = _aligned_malloc(4096, sectorSize); // 4. 设置对齐参数（偏移量和长度需对齐） OVERLAPPED ov = {0}; ov.Offset = 0; // 必须扇区对齐 DWORD bytesWritten; // 5. 执行写入 WriteFile(hFile, buffer, sectorSize, &bytesWritten, &ov); // 6. 强制刷新磁盘缓存 FlushFileBuffers(hFile); // 7. 清理资源 _aligned_free(buffer); CloseHandle(hFile); } ``` #### 四、使用场景与注意事项 **✅ 推荐场景** 1. 数据库系统（MySQL InnoDB, PostgreSQL）的事务日志写入[^3] 2. 高性能计算中的大文件（GB级）顺序写入 3. 需要确保崩溃一致性的关键数据写入 **⚠️ 注意事项** 1. **小文件性能下降**：文件小于缓存块时，DirectIO性能通常差于缓存IO[^4] 2. **对齐违规处理**：未对齐操作将返回`EINVAL`错误（Linux）或`ERROR_INVALID_PARAMETER`（Windows） 3. **组合使用策略**： ```mermaid graph LR A[关键数据] -->|DirectIO| B[确保持久性] C[非关键数据] -->|缓存IO| D[提升吞吐量] ``` #### 五、性能优化技巧 1. **批量聚合写入**：积累多个扇区数据后一次性写入 2. **异步I/O结合**：Linux使用`io_uring`，Windows使用重叠I/O ```c // Linux io_uring示例 struct io_uring ring; io_uring_queue_init(32, &ring, 0); struct io_uring_sqe *sqe = io_uring_get_sqe(&ring); io_uring_prep_write(sqe, fd, buffer, size, offset); ``` 3. **缓冲区复用**：避免频繁分配/释放对齐内存 > **关键设计原则**：DirectIO不是银弹，需根据**数据价值**（重要性）和**访问模式**（大小/频率）决策使用[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值