RandomAcessFile、MappedByteBuffer和缓冲读/写文件

最新推荐文章于 2023-04-25 14:08:20 发布

原创

最新推荐文章于 2023-04-25 14:08:20 发布 · 3.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#byte #buffer #string #stream #测试 #java

针对大文件读写需求，本文探讨了Java中使用MappedByteBuffer和RandomAccessFile的高效方法。通过测试，证明这两种方式能显著提升文件操作性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目需要进行大文件的读写，调查测试的结果使我决定使用MappedByteBuffer及相关类进行文件的操作，效果不是一般的高。

网上参考资源很多，如下两篇非常不错：

1、花1K内存实现高效I/O的RandomAccessFile类

2、Java中Stream和Memory-mapped File的I/O性能对比

小结：

1、RandomAccessFile本身不带缓冲读写，和FileInputStream、FileOutputStream等一样，直接按字节读写时，性能不可接受；

2、使用MappedByteBuffer读写，固然性能会得到极大提升；其实只要自己处理缓冲，性能都会有非常大的提升，比如以下两种方式（见下记代码）中第一种使用了MappedByteBuffer，第二种自己进行缓冲，对于12M的文件，后者的效率甚至高于前者。

3、BufferedXXXX之类的缓冲流，如果仅使用默认的buffer size，性能不一定最优，要权衡不同情况各种因素设置大小。

/*
 * 测试结果与Buffer size有关
 */
// 1、使用MappedByteBuffer: 0.7s
String srcFile = "D://Noname1.txt";
S

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

李燕军

关注关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

使用MappedByteBuffer处理任意大小的文件

TechO_O的博客

09-19

270

此外，由于整个文件被映射到内存中，所以对于映射到内存中，所以对于非常大的文件，可能会消耗大映射到内存中，所以对于非常大的文件，可能会消耗大量的内存。因此，在处理特映射到内存中，所以对于非常大的文件，可能会消耗大量的内存。因此，在处理特别大的文件时，需要谨慎使用MappedByteBuffer，以免导致内映射到内存中，所以对于非常大的文件，可能会消耗大量的内存。通过将文件映射到内存中的ByteBuffer对象，我们可以像处理内存数据映射到内存中，所以对于非常大的文件，可能会消耗大量的内存。

java、mappedByteBuffer读取文件

selaphy的专栏

07-22

1587

java mappedByteBuffer分块读取大数据文件

参与评论您还未登录，请先登录后发表或查看评论

MappedByteBuffer读写文件

weixin_30414635的博客

04-22

1061

一. MappedByteBuffer java把文件映射到内存中，避免堆内存产生大对象引起full gc。mappedByteBuffer的读写速度都要超过堆内读写文件的速度 public class AA { public static void main(String[] args) throws IOException, InterruptedException { ...

RandomAccessFile && MappedByteBuffer读取大文件

tj666666的博客

10-29

1009

比较MappedByteBuffer搭配RandomAccessFile, BufferedReader & BufferedWriter读取大文件性能　　处于对java.nio.concurrent包下的MappedByteBuffer使用直接内存,通过内存映射的方式读写文件的好奇,这里测试了这些类的使用和效率。　　　　对于小文件(文件大小在256M以内,大小size可以用int变量表示)

RandomAccessFile、FileChannel、MappedByteBuffer读写文件

天元喜羊羊的博客

01-27

6008

代码： package com.nio; import java.io.Closeable; import java.io.FileNotFoundException; import java.io.IOException; import java.io.RandomAccessFile; import java.nio.CharBuffer; import java.nio.MappedBy

Java RandomAccessFile与MappedByteBuffer

Dream It Possible

06-12

6218

RandomAccessFileRandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现DataInput和DataOutput接口之外(DataI

MappedByteBuffer读取大文件

u010991855的专栏

03-08

884

RandomAccessFile randomAccessFile = new RandomAccessFile(file,"rw"); FileChannel fileChannel = randomAccessFile.getChannel(); long size = fileChannel.size(); MappedByteBuffer mappedByteBuffe...

随机访问文件RandomAccessFile 与内存映射文件MappedByteBuffer

流浪的虾壳

05-03

3338

一.RandomAccessFile RandomAccessFile是用来访问那些保存数据记录的文件的，你就可以用seek( )方法来访问记录，并进行读写了。这些记录的大小不必相同；但是其大小和位置必须是可知的。但是该类仅限于操作文件。 RandomAccessFile不属于InputStream和OutputStream类系的。实际上，除了实现

java MappedByteBuffer读取大文件

cocoaxian的博客

04-25

545

java读取大文件

使用MappedByteBuffer读取大文件(1G以上)和释放MappedByteBuffer的资源

ljh_learn_from_base的博客

09-03

8956

package newFeatures8; import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.lang.reflect.Method; import java.nio.MappedByteBuffer; import java.nio.channels

MappedByteBuffer+RandomAccessFile读写文件

sjiang2142的专栏

10-29

5407

import java.io.RandomAccessFile; import java.nio.MappedByteBuffer; import java.nio.channels.FileChannel; public class Test { /** * @param args */ public static void main(String[] args) { //

RandomAccessFile和MappedByteBuffer

weixin_34315485的博客

04-26

389

2019独角兽企业重金招聘Python工程师标准>>> ...

MappedByteBuffer读取

zbz0425的专栏

05-30

6556

public class MappedFileRead { static final long G = 1024*1024*1024; private static Logger log = Logger.getLogger(MappedFileRead.class); public static void main(String[] args) { long start

MappedByteBuffer

fengfengzai0101的博客

12-07

642

介绍 ByteBuffer有三种类型 No-Direct Direct MappedByteBuffer 其中Bytebuffer可以创建No-Direct和Direct类型，MappedByteBuffer类型是通过ByteBuffer的子类MappedByteBuffer来创建的。今天简单介绍下MappedByteBuffer类。这个类对于读取文件来说非常高效。 MappedByteBuffer解读例如，当我们多次读取一个文件内容时，可以加载文件内容到内存中，然后在内存中进行读取，而不需要从磁盘

Java I/O流（二）——File，Properties，PrintWriter，IO ，RandomAccessFile,ByteBuffer,nio

WangShuo的专栏

04-17

1140

File概述文件的操作是非常重要的,我们先来看下他的基本概念•用于将文件或者文件夹封装成对象 •方便对文件和文件夹的操作 •File对象可以作为参数传递给流的构造函数我们写个小例子先import java.io.File;public class HelloJJAVA { public static void main(String[] args) { // 创建Fi

MappedByteBuffer介绍及详细解读（java操作大文件多种方法）