Iceberg Catalog 安装与配置指南

Iceberg Catalog 安装与配置指南

iceberg-catalog A Rust implementation of the Iceberg REST Catalog specification. 项目地址: https://gitcode.com/gh_mirrors/ic/iceberg-catalog

1. 项目基础介绍

Iceberg Catalog 是一个基于 Rust 语言的开源项目，它实现了 Apache Iceberg REST Catalog 规范的一个安全、快速且易于使用的版本。Iceberg Catalog REST 接口已成为开放 Lakehouses 中目录的标准，它原生支持多表提交、服务器端冲突解决等功能。Iceberg Catalog 的特点包括但不限于：

• 单一代码的二进制文件，无需 JVM 或 Python 环境
• 存储 Access Management 支持
• OpenID 提供者集成
• 原生 Kubernetes 集成
• 支持多租户
• 高度可定制和扩展
• 与 Spark、PyIceberg、Trino 和 StarRocks 等工具集成测试
• 支持高可用性和水平扩展
• 细粒度访问控制 (FGA)

2. 关键技术和框架

本项目主要使用了以下技术和框架：

• Rust：系统编程语言，用于实现 Catalog 的核心功能。
• OpenFGA：用于细粒度访问控制。
• Docker：容器化技术，用于项目的快速部署。
• Kubernetes：容器编排工具，用于项目的集群管理和自动化部署。

3. 安装和配置准备工作

在开始安装 Iceberg Catalog 之前，请确保您的系统中已安装以下工具：

• Docker：用于运行容器。
• Docker Compose：用于定义和运行多容器 Docker 应用。
• Git：用于克隆项目代码。

安装步骤

1. 克隆项目代码：

   git clone https://github.com/hansetag/iceberg-catalog.git
   cd iceberg-catalog
   

2. 构建项目（如果需要直接运行项目）：

   cargo build --release
   

3. 使用 Docker Compose 启动服务（推荐方式）：

   cd examples/minimal
   docker compose up
   

   这将启动 Lakekeeper Catalog，并可在浏览器中通过 localhost:8888 访问 Jupyter 笔记本示例，或通过 localhost:8181 访问 Lakekeeper UI。

4. 配置 OpenID 提供者（如果需要集成身份验证）：

   修改环境变量 LAKEKEEPER__OPENID_PROVIDER_URI 以使用您的身份提供者。

5. 部署到 Kubernetes（如果需要高可用部署）：

   使用项目提供的 Helm 图表来部署到 Kubernetes 集群。

以上步骤将为您提供一个运行中的 Iceberg Catalog 实例。您可以根据官方文档进一步配置和定制项目以满足特定需求。

iceberg-catalog A Rust implementation of the Iceberg REST Catalog specification. 项目地址: https://gitcode.com/gh_mirrors/ic/iceberg-catalog