基于Flink+Hive+Kafka的流批一体数仓实践--04Kafka_Sink_Kafka_DWD_OrderFull

最新推荐文章于 2025-10-17 10:30:00 发布

原创

最新推荐文章于 2025-10-17 10:30:00 发布 · 484 阅读

0 ·

CC 4.0 BY-SA版权

Flink采用HiveCatalog作为表元数据持久化的介质。对于同时部署了Hive和Flink的公司来说，可以方便管理元数据，而对于只部署了Flink的公司来说，HiveCatalog也是Flink唯一支持的元数据持久化的介质。不将元数据持久化的时候，开发过程中的每个地方都需要使用DDL重新将Kafka等数据源的数据注册到临时的Catalog中，浪费了很多精力和时间。

利用ODS的订单详情和订单明细数据进行操作。

DWD层直接上代码

import java.time.Duration
import org.apache.flink.streaming.api.{
   
   CheckpointingMode, TimeCharacteristic}
import org.apache.flink.streaming.api.environment.{
   
   ExecutionCheckpointingOptions, StreamExecutionEnvironment}
import org.apache.flink.table.api.{
   
   EnvironmentSettings, SqlDialect}
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment
import org.apache.flink.table.catalog.hive.HiveCatalog

//cas