Apache Iceberg Kafka Connect 布置与使用指南

Apache Iceberg Kafka Connect 布置与使用指南

iceberg-kafka-connect 项目地址: https://gitcode.com/gh_mirrors/ic/iceberg-kafka-connect

本指南旨在帮助您了解并部署 Apache Iceberg Kafka Connect，这是一个将数据从Kafka写入Iceberg表的sink连接器。我们将依次介绍其目录结构、关键的启动文件以及配置文件的详细使用。

1. 项目目录结构及介绍

项目的主要结构如下：

├── baseline-checkstyle         # 检查代码风格的基线配置
├── github-workflows            # GitHub工作流配置
├── docs                        # 文档相关资料
├── gradle                      # Gradle构建脚本
│   ├── build.gradle           # 主构建脚本
│   └── gradle.properties      # 构建属性配置
├── kafka-connect-events        # 特定事件处理相关
├── kafka-connect-runtime       # 运行时组件
├── kafka-connect-transforms    # 数据转换逻辑
├── kafka-connect               # 主连接器代码
├── logos                       # 项目logo等图形资源
├── .gitignore                  # 忽略文件列表
├── LICENSE                     # 许可证文件
├── README.md                   # 项目主读我文件，包含基本说明和快速入门
├── build.gradle                # 具体构建任务定义
├── gradle.properties           # 其它Gradle构建特定配置
├── gradlew                     # Gradle Wrapper脚本（用于跨平台构建）
├── header.txt                  # 可能是源码头文件注释模板
└── settings.gradle             # Gradle设置文件

重要文件简介：

• README.md：提供了项目概述、特性、安装和配置指导。
• build.gradle 和 gradlew: 构建和打包脚本，允许自动生成插件包。
• LICENSE: 使用的许可协议，本项目遵循Apache-2.0许可证。

2. 项目的启动文件介绍

Apache Iceberg Kafka Connect作为一个Kafka Connect的插件，其“启动”更多地依赖于Kafka Connect框架本身。通常，不直接运行项目中的任何单个文件来启动连接器。而是通过Kafka Connect的API或配置文件来指定这个连接器。

在部署阶段，主要操作包括：

• 构建插件: 在项目根目录下执行 ./gradlew clean build 来编译并生成插件zip包，该包随后会被放置在Kafka Connect的plugins目录下。
• 配置Kafka Connect: 编写一个Kafka Connect的配置文件，其中需指明使用此Iceberg Sink Connector，并提供必要的连接和转换配置。

3. 项目的配置文件介绍

配置冰山(Iceberg) Kafka Connect涉及多个方面，以下是一些核心配置参数的概览：

• iceberg.tables: 目的地表的逗号分隔列表。
• iceberg.tables.dynamic-enabled: 是否启用动态路由到表，基于routeField。
• iceberg.control.topic: 控制主题名，默认为control-iceberg。
• iceberg.catalog.*: 冰川目录相关的配置项，如类型、URI等，用于连接不同的元数据存储。
• kafka.*: 与Kafka客户端初始化相关的配置，例如控制主题的连接设置。

配置文件样例简化版（具体细节请参考官方文档）：

# 示例Kafka Connect配置片段
name=iceberg-sink-connector
connector.class=com.example.IcebergSinkConnector
tasks.max=1

# 冰川表格配置
iceberg.tables=my_table_1,my_table_2
iceberg.catalog.type=hive
iceberg.catalog.uri=thrift://localhost:9083
iceberg.catalog.io-impl=org.apache.iceberg.aws.s3.S3FileIO

# 控制主题设置
iceberg.control.topic=control-iceberg
iceberg.control.group-id=cg-control-iceberg-sink

请记得，实际部署时需要根据您的环境详细配置这些选项。项目仓库提供的文档和示例应作为配置依据进行细致阅读。

iceberg-kafka-connect 项目地址: https://gitcode.com/gh_mirrors/ic/iceberg-kafka-connect