PostgreSQL 与 Parquet 文件互转工具——pg_parquet 使用指南

PostgreSQL 与 Parquet 文件互转工具——pg_parquet 使用指南

pg_parquet Copy to/from Parquet in S3 or Azure Blob Storage from within PostgreSQL 项目地址: https://gitcode.com/gh_mirrors/pg/pg_parquet

1. 项目目录结构及介绍

pg_parquet 是一个开源项目，允许用户在 PostgreSQL 中通过 COPY TO/FROM 命令与 Parquet 文件进行数据互转。项目的主要目录结构如下：

• sql/: 包含用于创建和操作 PostgreSQL 扩展的 SQL 文件。
• src/: 源代码目录，包含项目的 Rust 代码，这些代码编译后会生成 PostgreSQL 扩展。
• .cargo/: Rust 的包管理器 cargo 的配置和缓存目录。
• .devcontainer/: 开发容器配置，用于提供一致的隔离开发环境。
• .github/workflows/: GitHub Actions 工作流文件，用于自动化项目的构建和测试等流程。
• Cargo.lock: 记录项目依赖库的精确版本。
• Cargo.toml: Rust 项目的配置文件，定义项目信息和依赖。
• LICENSE: 项目的开源许可证文件。
• Makefile: 用于构建项目的 Makefile 文件。
• README.md: 项目说明文件，包含项目介绍、安装和使用的详细说明。
• CONTRIBUTING.md: 贡献指南，指导贡献者如何向项目贡献代码。

2. 项目的启动文件介绍

在 pg_parquet 项目中，并没有一个传统意义上的启动文件，因为它是作为 PostgreSQL 的一个扩展来使用的。要启动并使用这个扩展，你需要按照以下步骤操作：

1. 确保你的系统上已经安装了 PostgreSQL。
2. 使用 rustup 和 cargo-pgrx 安装 Rust 和构建工具。
3. 运行 cargo pgrx init --pg<version> 初始化项目，<version> 是你想要支持的 PostgreSQL 版本。
4. 将扩展添加到 shared_preload_libraries 中，并在 PostgreSQL 配置文件 postgresql.conf 中进行配置。
5. 使用 cargo pgrx run 命令构建并运行扩展。

3. 项目的配置文件介绍

pg_parquet 的配置主要通过 PostgreSQL 的配置文件 postgresql.conf 来完成。以下是一些关键的配置步骤：

• 在 postgresql.conf 文件中，添加 pg_parquet 到 shared_preload_libraries 参数，确保在服务器启动时加载扩展。

shared_preload_libraries = 'pg_parquet'

• 使用 CREATE EXTENSION pg_parquet; 命令在你的 PostgreSQL 数据库中创建扩展。

• 根据需要，你可能还需要配置其他 PostgreSQL 参数，比如 work_mem，maintenance_work_mem 等，这些参数会影响数据库和扩展的性能。

pg_parquet 的扩展配置相对简单，主要因为它设计的目的是通过 SQL 命令直接与 PostgreSQL 交互，因此大多数配置都是通过 SQL 语句来完成的。

pg_parquet Copy to/from Parquet in S3 or Azure Blob Storage from within PostgreSQL 项目地址: https://gitcode.com/gh_mirrors/pg/pg_parquet