基于Flink+Hive+Kafka的流批一体数仓实践--03kafka_sink_kafka_ods

最新推荐文章于 2025-07-03 14:21:18 发布

原创

最新推荐文章于 2025-07-03 14:21:18 发布 · 666 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了如何在Flink中实现从Kafka消费数据，并将数据写入Hive的ODS层，涉及Hadoop、Kafka、Zookeeper集群的搭建以及Kafka消费脚本的编写和执行。

准备工作：搭建Hadoop、kafka、zk集群等（略）。
脚本启动集群后，开启kafka主题消费：

bin/kafka-console-consumer.sh --bootstrap-server hadoop002:9092 --from-beginning --topic GoodmeODS_orderMaster

在这里插入图片描述
kafka_sink_kafka_ods代码如下：

import java.time.Duration
import org.apache.flink.streaming.api.{
   
   CheckpointingMode, TimeCharacteristic}
import org.apache.flink.streaming.api.environment.{
   
   ExecutionCheckpointingOptions, StreamExecutionEnvironment}
import org.apache.flink.table.api.{
   
   EnvironmentSettings, SqlDialect}
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment
import org.apache.flink.table.