【转载】Java NIO写大文件比较

最新推荐文章于 2025-07-25 08:01:44 发布
原创 最新推荐文章于 2025-07-25 08:01:44 发布 · 247 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本文通过在不同操作系统及硬件配置下进行NIO写操作测试，对比了writeWithMappedByteBuffer、writeWithTransferTo和writeWithFileChannel三种方式的性能差异。结果显示，在高配环境下，使用MappedByteBuffer方法性能最佳。

NIO实验篇文章，下面这段话摘自作者的文章：

......

写2G文件，分批次写入，每批次写入128MB；

分别在Win7系统（3G内存，双核，32位，T系列处理器）和MacOS系统（8G内存，四核，64位，i7系列处理器）下运行测试。理论上跟硬盘类型和配置也有关系，这里不再贴出了。

  1. 显然writeWithMappedByteBuffer方式性能最好，且在硬件配置较高情况下优势越加明显

  2. 在硬件配置较低情况下，writeWithTransferTo比writeWithFileChannel性能稍好

  3. 在硬件配置较高情况下，writeWithTransferTo和writeWithFileChannel的性能基本持平

  4. 此外，注意writeWithMappedByteBuffer方式除了占用JVM堆内存外，还要占用额外的native内存（Direct Byte Buffer内存）

......

 

阅读全文：http://my.oschina.net/feichexia/blog/212318

 

JAVA NIO 按行读取大文件，支持 GB级别
08-29
本类，是专门为了处理大文件，按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想： 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件结束 这样字节的判断，然后 返回行 如果 到达 fbb的结尾 还没有结束，就再通过nio读取一段字节，继续处理。 由于对于本程序 116个字节以上的行才有意义，所以 在next实现方法中，有对 116 长度的判断，否则返回 null
JAVA NIO 按行读取大文件支持 GB级别-修正版
10-24
本类，是专门为了处理大文件，按行读取开发的类。 采用读文件的缓存 fbb 1024*5 行缓存 bb 256 字节 设计思想： 每次通过nio读取字节到 fbb中 然后对fbb自己中的内容进行行判断即 10 回车 13 行号 0 文件结束 这样字节的判断，然后 返回行 如果 到达 fbb的结尾 还没有结束，就再通过nio读取一段字节，继续处理。 由于对于本程序 116个字节以上的行才有意义，所以 在next实现方法中，有对 116 长度的判断，否则返回 null 修正了之前版本中的问题： 修正后的方法 private int readByte() throws IOException{ fbb.rewind(); fbb.clear(); if(this.fc.read(fbb)==-1){ EOF=true; return 0;}else{ fbb.flip(); return fbb.limit(); } } 把 fbb.position() 改成 fbb.limit()
Java NIO写大文件比较
weixin_33862041的博客
03-25 343
2019独角兽企业重金招聘Python工程师标准>>> ...
java nio 写大文件_NIO写大文件比较
weixin_39758956的博客
02-16 197
[java]代码库package rwbigfile;import java.io.ByteArrayInputStream;import java.io.File;import java.io.IOException;import java.io.RandomAccessFile;import java.lang.reflect.Method;import java.nio.ByteBuffer...
java nio 写大文件_java大文件读写操作，java nio 之MappedByteBuffer，高效文件/内存映射...
weixin_28865923的博客
02-16 543
java处理大文件，一般用BufferedReader,BufferedInputStream这类带缓冲的Io类，不过如果文件超大的话，更快的方式是采用MappedByteBuffer。MappedByteBuffer是java nio引入的文件内存映射方案，读写性能极高。NIO最主要的就是实现了对异步操作的支持。其中一种通过把一个套接字通道(SocketChannel)注册到一个选择器(Sele...
java nio 写大文件_JAVA中NIO通过MappedByteBuffer操作大文件
weixin_34977617的博客
02-16 554
javaio操作中通常采用BufferedReader，BufferedInputStream等带缓冲的IO类处理大文件，不过javanio中引入了一种基于MappedByteBuffer操作大文件的方式，其读写性能极高，本文会介绍其性能如此高的内部实现原理。内存管理在深入MappedByteBuffer之前，先看看计算机内存管理的几个术语：MMC：CPU的内存管理单元。物理内存：即内存条的内存空...
Java NIO：Pipe（线程间单向数据通讯）详解，附带实例
保暖透气大裤衩LeoLee的博客
08-14 651
概述 Java NIO 管道是2个线程之间的单向数据连接。Pipe有一个source通道和一个sink通道。数据会被写到sink通道，从source通道读取。 创建管道 通过Pipe.open()方法打开管道。例如： Pipe pipe = Pipe.open(); 要向管道写数据，需要访问sink通道。 //创建写管道 Pipe.SinkChannel sinkChannel = pipe.sink(); String newData = "New String to write to
Java中的NIO与高性能I/O操作
技术研究中心
07-26 470
Java NIO（New Input/Output）引入了一种非阻塞的I/O操作方式，能够显著提高高并发场景下的性能。本文介绍了Java NIO的核心组件和高性能I/O操作的实现方法，包括Channel、Buffer、Selector的使用，以及如何构建非阻塞服务器和使用内存映射文件进行高效文件操作。以下示例展示了一个基于NIO的回显服务器，它能处理多个客户端的连接，并回显客户端发送的数据。在NIO中，所有数据的读写都通过Channel进行，而数据的存储则由Buffer完成。
Java中的文件I/O优化：如何在大数据处理时提升性能
微赚淘客系统开发者博客
08-15 574
在大数据处理的场景下，文件I/O（输入/输出）操作是关键的性能瓶颈之一。优化文件I/O可以显著提高数据处理效率，减少系统的响应时间。本文将深入探讨如何在Java中优化文件I/O，以提升大数据处理的性能，包括使用高效的I/O库、调整I/O参数、以及实现高效的读写策略。、调整I/O参数、利用异步I/O以及压缩与分块技术，可以显著提升文件读写性能。在实际应用中，根据具体的数据规模和处理需求选择合适的优化策略，将有助于提高系统的整体性能和响应速度。增加缓冲区的大小可以减少I/O操作的频率，从而提高性能。
如何在Java中实现高效的文件I/O操作：从NIO到文件通道
微赚淘客系统开发者博客
08-18 919
在Java开发中，文件I/O操作是非常常见的任务，尤其是在处理大量数据或需要高性能的场景下，如何高效地进行文件I/O操作显得尤为重要。Java的NIO（New I/O）库提供了比传统I/O更高效的文件操作方式，其中的文件通道（FileChannel）和缓冲区（Buffer）是实现高效I/O的关键工具。本文通过多个代码示例，展示了如何在Java中实现高效的文件I/O操作，并探讨了文件通道的一些高级用法，如文件锁定和内存映射文件。是NIO中的核心组件，用于在文件通道和文件之间传递数据。
【Java】NIO和BIO有什么区别？回答：天壤之别
程序员徐小白的博客
05-21 6629
NIO是java1.4中引入的，被称为**new I/O**，也有说是**non-blocking I/O**。我个人认为，non-blocking I/O是包含在new I/O里面的，而我们大多数讲的NIO都是网络编程里的概念，但是我们今天主要讲的是数据处理的这一块的内容。
使用java NIO及高速缓冲区写入文件过程解析
08-25
主要介绍了使用java NIO及高速缓冲区写入文件过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
NIO处理大文件
05-29
NIO 处理大文件
java nio 包读取超大数据文件
12-19
Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件Java nio 超大数据文件 超大数据文件
java使用NIO读入大文件
zhangmengjlu的专栏
08-09 1213
public static ArrayList readBigFileUseNIO(String filePath) throws IOException { FileInputStream fis=new FileInputStream(filePath);//java.io FileChannel fcin=fis.getChannel();//java.nio,用来操作文件 By
JAVA之NIO按行读写大文件，完美解决中文乱码问题
热门推荐
程序员囧辉
02-01 2万+
前言 最近在开发的时候，接到了一个开发任务，要将百万行级别的txt数据插入到数据库中，由于内存方面的原因，因此不可能一次读取所有内容，后来在网上找到了解决方法，可以使用NIO技术来处理，于是找到了这篇文章http://www.sharejs.com/codes/java/1334，后来在试验过程中发现了一点小bug，由于是按字节读取，汉字又是2个字节，因此会出现汉字读取“一半”导致乱码的情况，于...
java nio 拆分大文件
CrazyMan666的专栏
04-03 2763
package com.hp.test.nio; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.nio.ByteBuffer; import java.nio.channels.FileChannel; /**
Java读取 写入 大文件 （上亿行数据）
吉他程序员的博客
06-17 1万+
Path 类是jdk7新增加的特性之一，用来代替java.io.File类。 之所以新增这个类，是由于java.io.File类有很多缺陷： 1.java.io.File类里面很多方法失败时没有异常处理，或抛出异常 java.io.File.delete()方法返回一个布尔值指示成功或失败但是没有失败原因 2.Path 速度快，方便。Path 操作1.删除文件 2.遍历目录,不包括子
Java NIO FileChannel在大文件传输中的性能优化实践指南
最新发布
qq_35716689的博客
07-25 447
本文深入探讨Java NIO FileChannel在处理大文件传输时的性能优化实践，包括零拷贝技术、缓冲区管理、异步I/O等核心原理，并结合生产环境实战场景提供实际可运行的代码示例，帮助开发者提升大文件传输效率，降低系统资源消耗。
Java NIO读取超大文件避坑指南
Java NIO（New Input/Output）提供了一种更有效的方法来读取大文件，通过使用通道(Channel)和缓冲区(Buffer)进行非阻塞I/O操作。然而，实际应用中可能会遇到一些陷阱，如编码不匹配、换行符差异和字节边界问题。 1....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值