将消息从 Apache Kafka 导入到像 Databend 这样的云数据仓库可能是一项艰巨的任务。bend-ingest-kafka 工具简化了这一过程,使您能够轻松地将 Kafka 消息导入到 Databend 表中。
什么是 bend-ingest-kafka?
bend-ingest-kafka 工具是一个专门为从 Apache Kafka 到 Databend 进行消息加载的命令行工具,支持以下模式:
-
JSON 模式:此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。
-
RAW 模式:在此模式下,该工具会创建一个包含
uuid
、koffset
、kpartition
、raw_data
、record_metadata
和add_time
等列的表。Kafka 消息存储在raw_data
列中,并将其他元数据注入到其他列中,从而保留原始消息格式并提供有用的上下文。
有关 bend-ingest-kafka 的更多详细信息,请查