再议O_DIRECT， O_DIRECT与logical_block_size

引言

之前我们说过一篇关于O_DIRECT问题的文章http://blog.youkuaiyun.com/zr_lang/article/details/40982663，那篇是在编译的时候需要注意的问题，编译之后就要运行，关于DIRECT I/O的使用可能很少有人会关注，特别是在C语言里直接使用。如果不是遍写很底层的I/O代码可能不会用到direct io来做什么操作，大部分也都是用默认的buffer io。前不久我们在测试的时候发现LTP也有使用DIRECT I/O的错误，在某些体系结构上会造成运行错误，当然那个问题已经被我旁边的同事发patch修了。但是我前不久在写一个程序的时候也遇到了DIRECT I/O读写失败的问题，一段在x86_64等机器上运行良好的程序放在s390上时偶尔会出错，经过调试发现问题就是出现DIRECT I/O的使用上。下面让我们来详细说一下这个问题。

首先我们来看一段在Buffer I/O中最常见的程序：

#define BUF_SIZE 1024*1024
char *buf = NULL;

buf = malloc(BUF_SIZE);
memset(buf, 0, BUF_SIZE);

fd = open(filename, O_RDONLY);
if (fd < 0) {
    perror("open");
    exit(1);
}

ret = read(fd, buf, count);
if (ret < 0) {
    perror("read");
    exit(1);
}

这可能是Buffer I/O中很常见的写法，但是仅仅这样是不能满足Direct I/O的需要的。

DIRECT I/O操作

条件

Direct I/O至少需要先满足两个条件：

1、 buf必须是一个以一倍或几倍于logical_block_size的大小对齐。

2、 每一次read的count必须