JAVA高效读取大文件

最新推荐文章于 2025-05-29 12:36:31 发布

转载最新推荐文章于 2025-05-29 12:36:31 发布 · 3k 阅读

文章标签：

#java #解决方案 #outofmemoryerror #io

java 专栏收录该内容

12 篇文章

订阅专栏

本文介绍了一种适用于Java的高效大文件读取方法——行迭代。通过使用java.util.Scanner类逐行读取文件内容并立即处理后丢弃，避免了因一次性加载整个文件到内存而导致的内存溢出问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

java读取文件行的标准方式是从内存中读取，这意味着当我们读取几g的大文件时，会抛出异常OutOfMemoryError；
so ，把文件所有的内容都放在内存中很快会耗尽可用内存——不论实际可用内存有多大，这点是显而易见的。

所以，这里给出一种方案：行迭代；我们只需要遍历文件的每一行，然后做相应的处理，处理完之后把它扔掉。现在让我们看下这种解决方案——我们将使用java.util.Scanner类扫描文件的内容，一行一行连续地读取：

FileInputStream inputStream = null;
Scanner sc = null;
try {
    inputStream = new FileInputStream(path);
    sc = new Scanner(inputStream, "UTF-8");
    while (sc.hasNextLine()) {
        String line = sc.nextLine();
        // System.out.println(line);
    }
    // note that Scanner suppresses exceptions
    if (sc.ioException() != null) {
        throw sc.ioException();
    }
} finally {
    if (inputStream != null) {
        inputStream.close();
    }
    if (sc != null) {
        sc.close();
    }
}