Parquet-WASM 使用教程

Parquet-WASM 使用教程

parquet-wasm Rust-based WebAssembly bindings to read and write Apache Parquet data 项目地址: https://gitcode.com/gh_mirrors/pa/parquet-wasm

1. 项目介绍

Parquet-WASM 是一个开源项目，它提供了基于 Rust 语言编写的 WebAssembly 绑定，用于读取和写入 Apache Parquet 格式数据。该项目使得 JavaScript 环境能够通过 WebAssembly 利用 Apache Parquet 的强大功能，支持读取和写入操作，并且包含了所有压缩编码。它的目标是与 JavaScript 的 Apache Arrow 实现配合使用。

2. 项目快速启动

安装

首先，您需要将 Parquet-WASM 安装到您的项目中。它已经发布到 NPM，可以通过以下命令安装：

yarn add parquet-wasm
# 或者
npm install parquet-wasm

初始化 WebAssembly 模块

在使用任何 API 之前，您需要初始化 WebAssembly 模块。这里有同步和异步两种初始化方式。

异步初始化

import { readParquet } from "parquet-wasm";

await readParquet.initialize();

同步初始化

import { initSync, readParquet } from "parquet-wasm";

initSync();

读取 Parquet 文件

import { readParquet } from "parquet-wasm";

const response = await fetch('path/to/your/parquet/file.parquet');
const arrayBuffer = await response.arrayBuffer();

const table = await readParquet(arrayBuffer);

写入 Parquet 文件

import { writeParquet, Table, WriterPropertiesBuilder } from "parquet-wasm";

// 假设您已经创建了一个 JavaScript 的 Apache Arrow 表
const arrowTable = ...;

// 将 Arrow 表转换为 WebAssembly 内存中的 Table
const wasmTable = Table.fromIPCStream(arrow.tableToIPC(arrowTable));

// 设置 Parquet 写入属性
const writerProperties = new WriterPropertiesBuilder().setCompression('ZSTD').build();

// 将 WebAssembly 内存中的 Table 写入到 Parquet 格式
const parquetBuffer = writeParquet(wasmTable, writerProperties);

// 将 Parquet 数据发送到服务器或进行其他操作

3. 应用案例和最佳实践

读取远程 Parquet 文件

import { ParquetFile } from "parquet-wasm";

// 从远程 URL 创建 ParquetFile 实例
const parquetFile = ParquetFile.fromUrl('https://example.com/path/to/remote.parquet');

// 读取数据
const table = await parquetFile.read();

// 释放内存
parquetFile.free();

性能考虑

当您有一个从 readParquet 获得的 Table 对象时，尝试使用新的 Table.intoFFI API 将其移动到 JavaScript 内存中。这个 API 比起 Table.intoIPCStream API 应该有更少的内存开销，并且速度更快。

4. 典型生态项目

Parquet-WASM 可以与多个生态项目协同工作，例如：

• Apache Arrow：用于高效数据处理。
• Pandas：Python 中的数据分析库，可通过 Apache Arrow 与 Parquet-WASM 交互。
• JavaScript 的各种前端框架，如 React 或 Vue，可以在浏览器中直接处理 Parquet 数据。

通过这些典型的生态项目，您可以构建更加丰富和强大的数据处理应用。

parquet-wasm Rust-based WebAssembly bindings to read and write Apache Parquet data 项目地址: https://gitcode.com/gh_mirrors/pa/parquet-wasm