备忘：java中如何从文件中读写大量…

最新推荐文章于 2025-07-20 21:31:13 发布
最新推荐文章于 2025-07-20 21:31:13 发布
阅读量334 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/runyon1982/article/details/49018483
本文探讨了在处理大量原始类型数据时如何提高读写效率。通过使用DataInputStream和DataOutputStream配合BufferedReader及BufferedWriter，可以实现既快速又简便的数据处理流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

    读写大量原始类型数据时，如果当作普通String写入文件，读出时再来parse，速度无法忍受。以下主要讨论读，因为读写是对称的。

    以前我用FileInputStream，在内存中弄一个很大的byte数组，读入后自己瞎搞拼装成int之类。现在发现其实完全没必要，java的io做得很完善方便了。DataInputStream里就有readInt，readFloat等方法。如果文件很大缓存不够会很慢，这时候可以用一个BufferedReader对象作为DataInputStream构造函数的参数，BufferedReader对象可以自由设置缓存大小。如此一来就又快又方便了。写的时候就用DataOutputStream和BufferedWriter。

    ps：这也算是我的space上的第一篇东东了。呵呵。以前我都嫌space太慢。今天重装系统把Windows Live 系列软件装上，发现写日志好像比以前方便多了。既然这样不妨写写杂七杂八的也可以备忘。以下这段话未卸磨先杀驴： Windows Live系列的这一套软件怎么都奇丑无比啊……

java写入文件的几种方法小结
weixin_34345560的博客
02-20 3583
一，FileWritter写入文件 FileWritter, 字符流写入字符到文件。默认情况下，它会使用新的内容取代所有现有的内容，然而，当指定一个true （布尔）值作为FileWritter构造函数的第二个参数，它会保留现有的内容，并追加新内容在文件的末尾。 1. 替换所有现有的内容与新的内容。 new FileWriter(file);2. 保留现有的内容和附加在该文件的末尾的新内...
Java 入门指南：Java NIO —— Buffer（缓冲区）
热带鱼的技术博客
08-30 1835
在 NIO（New Input/Output）模型中，Buffer 是一个重要的概念，与数据打交道，用于在内存中存储数据。通过 Channel 将数据传输到 Buffer 缓冲区中，并在缓冲区内进行数据的读写操作。 Buffer 本质上是一个数组，可以存储多个相同类型的基本数据类型，如 byte、short、int、long、float、double 等。Buffer 封装了内部的数组，并提供了一些操作该数组的方法。
Java字符流读写数据
卋舉
08-31 150
字符流读数据的2种方式 构造方法:InputStreamReader(InputStream in):创建默认字符集 读数据的两种方式:int read():一次读一个字符数据 int read(char[] cbuf):一次读一个字符数组数据 public class InputStreamReaderDemo { public static void main(String[] args) throws IOException { InputStreamReader is = n
如何在Java中处理大数据量的文件读写操作
聚娃科技开发者博客
07-04 561
通过本文的介绍，我们学习了如何在Java中处理大数据量的文件读写操作。从基本的缓冲流到高级的Java NIO，以及内存管理和性能优化的策略，这些方法能够帮助开发者在实际项目中处理大文件时保证系统性能和稳定性。大家好，我是微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Java中如何高效处理大数据量的文件读写操作，这在实际项目开发中是一个常见且关键的技术挑战。在现代应用程序中，经常需要处理大量的数据文件，这些文件可能包含日志、数据导入导出、批量处理等任务。
java实现超大文件的读写
只要你能好
12-08 5871
一、对于几百M或上G的大文件可使用java nio进行读写 ， 根据个人的需求 可能需要将一个超大文件读写形成很多较小的文件进行分析，这也不是什么难事，在读完一个缓冲区后 更换写入的对象即可，本文就不做详细介绍了，有需要的可以联系本人。 直接上程序吧 package cn.gzu.readfile; import java.io.File; import java.io.IOExcept
源码工具备忘录：掌握压缩包子文件操作技巧
从给出的信息来看，文件内容并不完整，也没有直接提供关于“备忘录”的具体内容。不过，根据标题和标签所提供的信息，我们可以推测“备忘录”可能是指某种软件、应用程序、脚本或者是某篇博文的内容摘要。而“源码 ...
递归与并行计算：Java中递归任务的高效分割与合并
[递归与并行计算：Java中递归任务的高效分割与合并](https://media.geeksforgeeks.org/wp-content/uploads/20231016112106/backtracking-banner-(1).png) # 1. 递归与并行计算基础概念 在现代信息技术的发展中，...
【JAVA开发】从0到1学NIO：Java高效编程的秘密通道
最新发布
大雨的博客
07-20 1029
NIO（New I/O）是Java中高效处理I/O操作的核心技术，它通过缓冲区、通道和选择器三大组件实现非阻塞I/O操作。相比传统BIO（Blocking I/O），NIO能够显著提高线程利用率，尤其适合高并发场景。本文详细介绍了NIO的核心组件工作原理，包括缓冲区的数据暂存、通道的连接传输以及选择器的事件管理，并通过文件读取和网络编程的代码示例展示了NIO的实际应用。此外，文章还探讨了NIO在高性能服务器开发（如Tomcat、Jetty）和分布式系统（如Zookeeper）中的重要作用。最后，为读者推荐了
备忘录日程管理java代码
04-23
- **文件系统**：简单应用可能会选择将备忘录和日程数据存储在本地文件中，例如JSON或XML格式，便于读写。 - **数据库**：更复杂的应用可能使用关系型数据库（如SQLite）或NoSQL数据库（如MongoDB）来存储大量数据...
Java读取大文件的高效率实现
jackesy的专栏
01-27 6755
1、在内存中读取 读取文件行的标准方式是在内存中读取，Guava 和Apache Commons IO都提供了如下所示快速读取文件行的方法： Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path)); 这种方法带来的问题是文件的所有行都被存放在内存中，当文件足够大
Java读取 写入 大文件 （上亿行数据）
吉他程序员的博客
06-17 1万+
Path 类是jdk7新增加的特性之一，用来代替java.io.File类。 之所以新增这个类，是由于java.io.File类有很多缺陷： 1.java.io.File类里面很多方法失败时没有异常处理，或抛出异常 java.io.File.delete()方法返回一个布尔值指示成功或失败但是没有失败原因 2.Path 速度快，方便。Path 操作1.删除文件 2.遍历目录,不包括子
java实现大量数据写入文件
sustzhangqi的博客
04-12 5835
import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.PrintWriter; import java.text.NumberF...
java写大文件_java实现超大文件的读写功能
weixin_39624705的博客
02-12 1090
对于几百M或上G的大文件可使用java nio进行读写 ， 根据个人的需求 可能需要将一个超大文件读写形成很多较小的文件进行分析，这也不是什么难事，在读完一个缓冲区后 更换写入的对象即可，本文就不做详细介绍了，有需要的可以联系本人。直接上程序吧package cn.gzu.readfile;import java.io.File;import java.io.IOException;import ...
java频繁的读写文件_大量较为频繁读写的文件一般如何进行存储？
weixin_39805364的博客
02-27 1484
文件内容当然不能存在关系型数据库里。但是你可以把文件的元数据比如原始的文件名，创建者，描述，关键字等，以及文件实际存储信息存在数据库，方便查询。如果数据量不是很大(G级别以下)，文件不是特别零碎，可以直接存在硬盘上。但是如果数据量已经/可能超过T级别，或者文件小且零碎，建议还是放在HDFS等分布式文件系统上。我存储爬虫的html以及图片数据，是通过HDFS的MapFile格式存储的。MapFile...
java多线程查询大量数据写入文件
年少轻狂的好日子，一懂事就结束
04-28 2976
@RequestMapping(value = "/query",method = RequestMethod.GET)     @ResponseBody     public String ticketBet() {         ReadWriteFile.delFile1();         TransmissionThread tt = new TransmissionThr
RabbitMQ使用不当导致的队列堵塞问题及解决办法
热门推荐
runyon的博客
10-14 3万+
本接盘侠接手的一个服务使用RabbitMQ和其他服务进行消息传输。接手后发现：有时候RabbitMQ中明明有元素，但是不会回调DefaultConsumer的handleDelivery函数，于是队列无法消化，越堵越长。通过jstack查看，发现rabbitmq消费者线程堵塞在socketinputstream的socketRead0函数。通过搜索，发现这篇文章：《Queue consumer
使用JavaMail发送邮件时判断发送结…
runyon的博客
10-10 1万+
1、获取邮件发送结果     网上看大多数例子，都是调用Transport类的sendMessage方法后就收工了。但sendMessage方法没有返回值的，而且是一个异步的方法（也就是函数调用结束的时候邮件的发送过程并未结束）。我们可以通过Transport的addTransportListener方法增加邮件发送结果的Listener，Listener接口有三个方法： void message
可去重的消息队列：AntiDuplicateL…
runyon的博客
10-10 7321
LinkedBlockingQueue经常用于线程间的消息队列。一个或多个消费者线程阻塞在take操作，生产者线程往队列里面offer新的消息。有时候，可能希望不要在队列中有重复的请求。我实现的AntiDuplicateLinkedBlockingQueue可实现此目的。代码很简单，就是用一个LinkedList来实现队列，一个HashSet来实现去重。 ====================
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值