Flink-SQL

最新推荐文章于 2024-06-18 02:14:17 发布

原创最新推荐文章于 2024-06-18 02:14:17 发布 · 647 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#flink

flink 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了在Flink 1.10版本中如何启动集群、SQL客户端，以及如何添加Kafka扩展包来支持Kafka数据源。在尝试使用1.13版本时遇到问题，通过回退到1.10并匹配相应Kafka插件解决了ClassCastException。详细步骤包括创建Kafka表和插入数据，并提供了查询示例。

一、简介
我这里使用的版本的是1.10.（之前试用过1.13的，结果可能是因为后面安装的Kafka插件版本和flink版本不同，导致查询出现问题）。安装这里就不说了。
1.启动flink
bin/start-cluster.sh。启动后可以看到如下进程。
在这里插入图片描述

2.启动sql-client

在这里插入图片描述

3.连接kafka需要增加扩展包（默认的只支持csv，file等文件系统）
flink-json-1.10.2.jar （https://repo1.maven.org/maven2/org/apache/flink/flink-json/1.10.2/flink-json-1.10.2.jar）
flink-sql-connector-kafka_2.11-1.10.2.jar （https://repo1.maven.org/maven2/org/apache/flink/flink-sql-connector-kafka_2.11/1.10.2/flink-sql-connector-kafka_2.11-1.10.2.jar）
将jar包flink 文件夹下的lib文件夹下
4.启动sql-client
bin/sql-client.sh embedded -1 lib/
5.创建Kafka Table

CREATE TABLE test(a int,
b int,
c int)with('connector.type' = 'kafka',
'connector.version' = 'universal',
'connector.properties.group.id' = 'g2.group1',
'connector.properties.bootstrap.servers' = '192.168.1.201:9092,192.168.1.202:9092',
'connector.properties.zookeeper.connect' = '192.168.1.201:2181',
'connector.topic' = 'customer_test',
'connector.startup-mode' = 'earliest-offset',
'format.type' = 'json');

6.插入数据

insert into test(a,b,c)
values(1,1,2),(2,10,2),(3,1,20);

在这里我一开始flink的版本是1.13和新增的kafka插件版本不对应。（我觉得是版本问题。哈哈。希望有大佬可以解决）

java.lang.ClassCastException: org.apache.calcite.sql.SqlBasicCall cannot be cast to org.apache.calcite.sql.SqlIdentifier

7.执行查询

select *  from CustomerStatusChangedEvent ;