18、数据处理：从文件聚合到大数据处理

数据处理：从文件聚合到大数据处理

1. 数据文件的聚合与拆分

1.1 聚合多个文件

在处理数据时，有时需要将多个文件的数据合并成一个数据集。可以使用 globby 库来实现这一功能。以下是一个示例代码：

const globby = require('globby'); 
const importCsvFile = require('./toolkit/importCsvFile.js');
const exportCsvFile = require('./toolkit/exportCsvFile.js');
const inputFileSpec = "./data/by-country/*.csv"; 
const outputFileName =
    "./output/surveys-aggregated-from-separate-files.csv";
globby(inputFileSpec) 
    .then(paths => { 
        return paths.reduce((prevPromise, path) => { 
                return prevPromise.then(workingData => { 
                    return importCsvFile(path) 
                        .then(inputData => {
                            return workingData.