Java读取文本文件（一般读取日志文件进行分析）内存溢出的解决思路

本文链接：https://blog.youkuaiyun.com/lookbbs/article/details/100731639

本文探讨了在Java中处理大型文本文件时遇到的内存溢出问题，对比了使用BufferedReader与Scanner的不同策略，强调了避免将所有行一次性加载到内存的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般读取文件文本的写法：

使用BufferedReader来逐行读取文本内容

File file =new File("test.txt");
try (BufferedReader reader = new BufferedReader(new InputStreamReader(new FileInputStream(file)))) {
    String line;
    while ((line = reader.readLine()) != null) {
        System.out.println(line);
    }
} catch (IOException ex) {
    ex.printStackTrace();
}

如果文本文件体积够大的话，运行一段时间会抛出内存溢出的异常.
原因分析：文件的所有行都被存放在内存中，当文件足够大时很快就会导致程序抛出OutOfMemoryError 异常。

我就是因为经验不足，使用了这种写法，导致运行一段时间就抛出异常

正确的做法：

  File file =new File("test.txt");
  try (
         FileInputStream fis = new FileInputStream(file);
         Scanner sc = new Scanner(fis, "UTF-8")
   ) {
        while (sc.hasNext()) {
            String line = sc.nextLine();
            System.out.println(line);
        }
    } catch (IOException ex) {
        ex.printStackTrace();
    }