stream-json 项目教程

最新推荐文章于 2024-11-06 07:47:32 发布

柯兰妃Jimmy

最新推荐文章于 2024-11-06 07:47:32 发布

阅读量369

点赞数 4

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_00552/article/details/142776670

stream-json 项目教程

stream-json The micro-library of Node.js stream components for creating custom JSON processing pipelines with a minimal memory footprint. It can parse JSON files far exceeding available memory streaming individual primitives using a SAX-inspired API. 项目地址: https://gitcode.com/gh_mirrors/st/stream-json

1. 项目介绍

stream-json 是一个用于 Node.js 的微型库，专注于创建自定义 JSON 处理管道，具有最小的内存占用。它能够解析远超可用内存的 JSON 文件，并通过 SAX 风格的 API 逐个流式传输原始数据项。

主要特点

微型库：组件体积小，依赖少。
低内存占用：适用于处理大型 JSON 文件。
SAX 风格 API：支持事件驱动的 JSON 解析。
自定义管道：易于扩展和组合，适合创建灵活的数据处理管道。

2. 项目快速启动

安装

首先，通过 npm 或 yarn 安装 stream-json：

npm install --save stream-json
# 或者
yarn add stream-json

基本使用

以下是一个简单的示例，展示如何使用 stream-json 解析 JSON 文件并过滤出特定数据：

const { chain } = require('stream-chain');
const { parser } = require('stream-json');
const { pick } = require('stream-json/filters/Pick');
const { ignore } = require('stream-json/filters/Ignore');
const { streamValues } = require('stream-json/streamers/StreamValues');
const fs = require('fs');
const zlib = require('zlib');

const pipeline = chain([
  fs.createReadStream('sample.json.gz'),
  zlib.createGunzip(),
  parser(),
  pick({ filter: 'data' }),
  ignore({ filter: /\b_meta\b/i }),
  streamValues(),
  data => {
    const value = data.value;
    // 仅保留会计部门的数据
    return value && value.department === 'accounting' ? data : null;
  }
]);

let counter = 0;
pipeline.on('data', () => ++counter);
pipeline.on('end', () => console.log(`会计部门有 ${counter} 名员工。`));