direct io优化

下索引过程中,老索引仍提供服务,因此下载过程中新索引会把老索引从page cache挤出,造成性能下降。

因此在下载时要使用O_DIRECT标志位做direct io,不通过page cache。原来以为只要在打开时放个O_DIRECT标志位就可以,因此用jna调用和反射构造出一个新的java FileDescriptor对象,结果发现不是这么回事。

原来O_DIRECT是linux中比较新的特性,在写文件时有特殊要求,要求内存指针地址必须是512的倍数,写入的字节数也必须是(因此最后多出不足512倍数的字节需要用非direct io方式写入)。

参考

http://www.nicecode.eu/wp-content/uploads/2013/05/10/jna-streams.jar
http://www.nicecode.eu/java-streams-for-direct-io/
的做法可行,但buffer设为512在千兆带宽时下载只有4MBps,改为128K后可以达到接近100MBps。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值