Java极速读取超大文件(附源代码)

Java读取超大文件的几种方法

在这里必须说明一下，此处所说的超大文件，是指至少2G以上，可能是10G或者更大，文件内容是单行可处理的类型，通常为csv文件。好了，前提已说明，让我们快速进入主题，样例代码可能如下：

传统Block IO读入

超大文件读取通常面临最大的问题是什么呢？不用想，必须内存了，譬如10个G的文件，你直接加载到内存试试。那么既然有内存有限制，那必须要考虑使用带缓冲区的方式进行读入，处理方式有多种，进摘抄我使用到的样例代码如下

@Slf4j
public class TestRead {
   

  @Test
  public void testRead() throws IOException {
   
    String readFile = "/Users/renhongqiang/Downloads/work-doc/2000W/test.csv";
    BufferedReader bufferedReader = null;
    bufferedReader = new BufferedReader(new InputStreamReader(new FileInputStream(new File(readFile))));
    String line;
    int counter = 0;
    while (!StringUtils.isEmpty(line = bufferedReader.readLine())) {
   
      log.info("this is {} line",counter++);
    }
  }
}

使用NIO零拷贝读

关于零拷贝，概念部分，请大家自行百度，我这给出的是使用NIO零拷贝读取超大文件的实现思路，如下图：

• 简单来说主要分为以下3步
  • 大文件进行分割切片（此处切片只是打上标记）
  • 对于分割后的slice，使用线程池进行处理
  • 收集处理结果统计

部分核心代码如下：