Flink教程--flink 1.11 使用sql将流式数据写入hive

最新推荐文章于 2025-09-30 03:11:10 发布

原创

最新推荐文章于 2025-09-30 03:11:10 发布 · 1.2w 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#flink #教程 #sql #hive #1.11

本文详细介绍了如何使用Flink SQL将流式数据写入Hive，包括配置修改、Java程序构建、hive表创建及常见问题解决。针对时区处理问题提出了解决方案。

文章目录

修改hive配置
案例讲解
遇到的坑
- 问题详解
- 修改方案

修改hive配置

上一篇介绍了使用sql将流式数据写入文件系统，这次我们来介绍下使用sql将文件写入hive,对于如果想写入已经存在的hive表，则至少需要添加以下两个属性. 写入hive底层还是和写入文件系统一样的，所以对于其他具体的配置参考上一篇 .flink 1.11使用sql将流式数据写入文件系统

alter table table_name set TBLPROPERTIES ('is_generic'='false'); 

alter table table_name set TBLPROPERTIES ('sink.partition-commit.policy.kind'='metastore'); 


//如果想使用eventtime分区
alter table table_name set TBLPROPERTIES ('sink.partition-commit.trigger'='partition-time');

案例讲解

下面我们讲解一下，如何使用java程序来构建一个flink程序来写入hive。

引入相关的pom

      <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-hive_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>