flink读取hive表数据的一些现象

最新推荐文章于 2024-06-08 22:45:19 发布

科学的N次方

最新推荐文章于 2024-06-08 22:45:19 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：数据仓库技术体系

本文链接：https://blog.youkuaiyun.com/chenshijie2011/article/details/115675610

数据仓库技术体系专栏收录该内容

141 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了在Flink中使用sql-client查询Hive表时，不同执行模式(batch和streaming)下遇到的现象。现象1和2表明无论批处理还是流处理模式，Flink都能读取Hive的小表和Kafka流表。然而，现象3显示，当Hive外部日志文件关联表在streaming模式下无法被Flink读取，而在batch模式下可以。文章探讨了可能的原因，并提供了创建Hive和Flink表的DDL示例。

配置文件sql-client-defaults.yaml 中
execution:
planner: blink
type: batch – batch or streaming ？默认是streaming

使用bin/sql-client.sh embedded 进入客户端，查询hive中表数据
在这里插入图片描述

在这里插入图片描述

现象1：创建的hive小表src，type: streaming flinksql是可以读取的。type: batch flinksql可以读取。
现象2：创建flink的kafka user_log流表，type: streaming flinksql是可以读取的。
现象3：创建的hive外部日志文件关联表http_input_log ,type: streaming flinksql 不可以读取，type: batch flinksql可以读取。
以上想象的原因是什么？

create table http_input_log(
log_date string,
log_time string,
thread_id string,
log_level string,
api_name string,