Apache Iceberg 项目下载及安装教程

Apache Iceberg 项目下载及安装教程

iceberg Apache Iceberg 项目地址: https://gitcode.com/gh_mirrors/iceberg4/iceberg

1、项目介绍

Apache Iceberg 是一个高性能的表格式，专为大数据分析而设计。它提供了可靠性和简单性，使得像 Spark、Trino、Flink、Presto、Hive 和 Impala 这样的引擎可以安全地同时处理相同的表。Iceberg 的核心目标是解决大数据处理中的数据一致性和性能问题，同时提供灵活的表管理和查询能力。

2、项目下载位置

你可以通过以下链接从 GitHub 下载 Apache Iceberg 项目：

Apache Iceberg GitHub 仓库

3、项目安装环境配置

3.1 环境要求

• Java 版本: Iceberg 支持 Java 11、17 或 21。
• 构建工具: 使用 Gradle 进行构建。
• Docker: 部分测试需要 Docker 环境。

3.2 环境配置示例

以下是配置 Java 和 Gradle 的示例步骤：

1. 安装 Java:

   • 下载并安装适合你操作系统的 Java 版本（11、17 或 21）。
   • 配置 JAVA_HOME 环境变量。

   export JAVA_HOME=/path/to/java
   export PATH=$JAVA_HOME/bin:$PATH
   

2. 安装 Gradle:

   • 下载并安装 Gradle。
   • 配置 GRADLE_HOME 环境变量。

   export GRADLE_HOME=/path/to/gradle
   export PATH=$GRADLE_HOME/bin:$PATH
   

3. 配置 Docker（仅适用于 MacOS）:

   • 如果使用 Docker Desktop，可能需要创建一个符号链接以确保测试能够检测到 Docker。

   sudo ln -s $HOME/Library/Containers/com.docker.docker/Data/docker.sock /var/run/docker.sock
   

4、项目安装方式

4.1 克隆项目

首先，从 GitHub 克隆 Iceberg 项目到本地：

git clone https://github.com/apache/iceberg.git
cd iceberg

4.2 构建项目

使用 Gradle 构建项目：

./gradlew build

如果需要跳过测试，可以使用以下命令：

./gradlew build -x test -x integrationTest

4.3 代码风格修复

如果需要修复代码风格，可以使用以下命令：

./gradlew spotlessApply

对于所有版本的 Spark/Hive/Flink，可以使用：

./gradlew spotlessApply -DallModules

5、项目处理脚本

Iceberg 提供了多个模块来支持不同的处理引擎和数据格式。以下是一些常用的模块：

• iceberg-common: 包含通用工具类。
• iceberg-api: 包含 Iceberg 的公共 API。
• iceberg-core: 包含 Iceberg API 的实现和支持 Avro 数据文件。
• iceberg-parquet: 支持 Parquet 文件格式的模块。
• iceberg-arrow: 支持 Arrow 内存格式的模块。
• iceberg-orc: 支持 ORC 文件格式的模块。
• iceberg-hive-metastore: 支持 Hive Metastore 的模块。
• iceberg-data: 支持直接从 JVM 应用程序处理表的模块。

这些模块可以根据需要进行选择和集成。

---

通过以上步骤，你可以成功下载并安装 Apache Iceberg 项目，并开始使用它进行大数据分析。

iceberg Apache Iceberg 项目地址: https://gitcode.com/gh_mirrors/iceberg4/iceberg