Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend

最新推荐文章于 2025-06-17 22:34:12 发布

Databend

最新推荐文章于 2025-06-17 22:34:12 发布

阅读量1k

点赞数 20

CC 4.0 BY-SA版权

文章标签： kafka 数据仓库分布式

本文链接：https://blog.youkuaiyun.com/Databend/article/details/141683798

将消息从 Apache Kafka 导入到像 Databend 这样的云数据仓库可能是一项艰巨的任务。bend-ingest-kafka 工具简化了这一过程，使您能够轻松地将 Kafka 消息导入到 Databend 表中。

什么是 bend-ingest-kafka？

bend-ingest-kafka 工具是一个专门为从 Apache Kafka 到 Databend 进行消息加载的命令行工具，支持以下模式：

JSON 模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。
RAW 模式：在此模式下，该工具会创建一个包含 uuid、koffset、kpartition、raw_data、record_metadata 和 add_time 等列的表。Kafka 消息存储在 raw_data 列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。