下索引过程中,老索引仍提供服务,因此下载过程中新索引会把老索引从page cache挤出,造成性能下降。
因此在下载时要使用O_DIRECT标志位做direct io,不通过page cache。原来以为只要在打开时放个O_DIRECT标志位就可以,因此用jna调用和反射构造出一个新的java FileDescriptor对象,结果发现不是这么回事。
原来O_DIRECT是linux中比较新的特性,在写文件时有特殊要求,要求内存指针地址必须是512的倍数,写入的字节数也必须是(因此最后多出不足512倍数的字节需要用非direct io方式写入)。
参考
http://www.nicecode.eu/wp-content/uploads/2013/05/10/jna-streams.jar和
http://www.nicecode.eu/java-streams-for-direct-io/
的做法可行,但buffer设为512在千兆带宽时下载只有4MBps,改为128K后可以达到接近100MBps。