NIO 内存映射文件 BufferedReader

最新推荐文章于 2024-06-23 07:45:00 发布

原创

最新推荐文章于 2024-06-23 07:45:00 发布 · 744 阅读

0 ·

CC 4.0 BY-SA版权

JAVA处理大文件时，除了使用BufferedReader等带缓冲的IO类，更高效的方法是利用NIO的MappedByteBuffer进行内存映射。MappedByteBuffer允许直接操作文件，提供极高的读写性能。通过FileChannel的map方法，可以将文件部分或全部映射到内存，并通过READ_ONLY、READ_WRITE和PRIVATE三种模式控制访问权限。此外，MappedByteBuffer还提供了force、load方法来管理缓冲区内容与文件的同步。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

JAVA处理大文件，一般用BufferedReader,BufferedInputStream这类带缓冲的IO类，不过如果文件超大的话，更快的方式是采用MappedByteBuffer。

MappedByteBuffer是NIO引入的文件内存映射方案，读写性能极高。NIO最主要的就是实现了对异步操作的支持。

其中一种通过把一个套接字通道(SocketChannel)注册到一个选择器(Selector)中,
不时调用后者的选择(select)方法就能返回满足的选择键(SelectionKey),键中包含了SOCKET事件信息。
这就是select模型。

SocketChannel的读写是通过一个类叫ByteBuffer来操作的.这个类本身的设计是不错的,比直接操作byte[]方便多了. ByteBuffer有两种模式:直接/间接.间接模式最典型(也只有这么一种)的就是HeapByteBuffer,即操作堆内存 (byte[]).但是内存毕竟有限,如果我要发送一个1G的文件怎么办?不可能真的去分配1G的内存.这时就必须使用”直接”模式,即 MappedByteBuffer,文件映射.

先中断一下,谈谈操作系统的内存管理.一般操作系统的内存分两部分:物理内存;虚拟内存.虚拟内存一般使用的是页面映像文件,即硬盘中的某个(某些)特殊的文件.操作系统负责页面文件内容的读写,这个过程叫”页面中断/切换”. MappedByteBuffer也是类似的,你可以把整个文件(不管文件有多大)看成是一个ByteBuffer.MappedByteBuffer 只是一种特殊的ByteBuffer，即是ByteBuffer的子类。 MappedByteBuffer 将文件直接映射到内存（这里的内存指的是虚拟内存，并不是物理内存）。通常，可以映射整个文件，如果文件比较大的话可以分段进行映射，只要指定文件的那个部分就可以。

FileChannel提供了map方法来把文件影射为内存映像文件： MappedByteBuffer map(int mode,long position,long size); 可以把文件的从position开始的size大小的区域映射为内存映像文件，mod