19、利用 Node.js 流处理大型数据文件

利用 Node.js 流处理大型数据文件

1. 处理大型文件的挑战与 Node.js 流解决方案

在处理数据时，我们常常会遇到与旧记录兼容性的问题，例如需要将某些字段进行转换，转换公式很简单，只需将每个字段除以 10。然而，真正的难题在于处理大型文件。传统的工作流程在处理大型文件时往往会失败，因为我们无法将整个文件加载到内存中。

Node.js 流为我们提供了解决方案。我们可以使用流来逐步处理数据文件，一次加载和处理一个数据块，而不是试图一次性处理整个文件。以下是处理数据的流程图：

graph LR
    A[大型数据文件] --> B(分割成数据块)
    B --> C(逐个处理数据块)
    C --> D(输出处理后的数据)

这种方式的好处是，每个数据块都能轻松地放入可用内存中，我们永远不会接近耗尽可用内存的情况。

2. 增量核心数据表示

我们之前使用的核心数据表示（CDR）设计模式，它定义了一种共享数据格式，用于连接数据处理管道的各个阶段。最初，CDR 代表整个数据集，每个转换阶段都对整个数据集进行操作。

现在，为了适应增量数据处理，我们需要重新定义 CDR，使其代表整个数据集的一个数据块。这样做的好处是，现有的与 CDR 一起工作的代码模块，无论是使用传统数据处理还是增量数据处理，都能同样良好地工作。以下是传统数据处理和增量数据处理的对比表格：
| 处理方式 | 数据处理范围 | 数据流动方式 |
| ---- | ---- | ---- |
| 传统