Flink SQL Gateway使用

最新推荐文章于 2024-11-11 10:39:13 发布

aciddzz

最新推荐文章于 2024-11-11 10:39:13 发布

阅读量4.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Flink 文章标签： flink hadoop

本文链接：https://blog.youkuaiyun.com/aciddzz/article/details/113428552

本文详细介绍了如何搭建和使用Flink SQL Gateway，包括在Yarn Session和Yarn per Job模式下的配置步骤，以及如何通过REST API提交SQL作业。同时提供了相关参考资料链接，帮助理解Flink OLAP引擎的性能优化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注：本文主要介绍Flink SQL Gateway on Yarn Session & on Yarn per Job 两种模式下的使用

一：Flink SQL Gateway搭建 & 使用

1.1 下载Flink版本环境包（注意SQL Gateway目前仅支持Flink 1.10 & 1.11.1+版本），解压并进入其工作目录，添加自己所需依赖至lib目录下，楼主测试所需依赖如下：在这里插入图片描述
1.2 启动一个yarn session cluster，启动命令可参考如下脚本

#!/bin/bash
export HADOOP_CONF_DIR=/data/hadoop_conf
export HADOOP_HOME=/usr/hdp/3.1.0.0-78/hadoop
export PATH=

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

aciddzz

关注关注

1
点赞
踩
9

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

31、Flink的SQL Gateway介绍及示例

alanchanchn的专栏

11-22

5万+

SQL Gateway 是一种使远程多个客户端能够并发执行SQL的服务。它提供了一种提交Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插入endpoints 和SqlGatewayService组成。SqlGatewayService是一个由endpoints 重用以处理请求的处理器。endpoints 是允许用户进行连接的入口点。根据endpoints 的类型，用户可以使用不同的utils进行连接。参考上文中的查询示例。

flink 1.16 sql gateway 测试记录

weixin_40455124的博客

11-11

987

从能搜索到的文档看，一次只能执行一条sql或者set 之类的命令本质就是flink sql的 proxy ，文档也是如此描述通过curl 直接使用还是不方便，应该考虑使用代码进行封装执行失败会返回后台堆栈，但不自行格式化很难阅读，同时还是建议去看后台log虽然是proxy性质，单独部署时候配置和lib需要和cluster其它节点保持一致，否则会有class找不到之类的错误执行结果有点奇怪，有点难阅读，比如select 输出没有column name。

4 条评论您还未登录，请先登录后发表或查看评论

flink-sql-gateway

03-21

Flink SQL网关 Flink SQL网关是一项服务，允许其他应用程序通过REST API轻松与Flink群集进行交互。用户应用程序（例如Java / Python / Shell程序，Postman）可以使用REST API提交查询，取消作业，检索结果等。使JDBC客户端可以基于REST API连接到Flink SQL网关。当前，REST API是一组内部API，我们建议用户通过JDBC API与网关进行交互。 Flink SQL网关现在将会话属性存储在内存中。如果服务停止或崩溃，则所有属性都将丢失。我们将在未来对此进行改进。该项目尚处于初期阶段。如果您遇到任何问题或有任何建议，请随时提出问题。启动网关服务从头开始启动服务有四个步骤：下载（或构建）Flink程序包。 Flink SQL网关当前仅支持Apache Flink 1.10，您可以从下载Flink 1.10。

Flink系列之：Flink SQL Gateway

zhengzaifeidelushang的博客

03-25

2685

SQL Gateway 捆绑在常规 Flink 发行版中，因此可以开箱即用。它只需要一个正在运行的Flink集群，可以在其中执行表程序。根据端点的类型，用户可以使用不同的实用程序进行连接。凭借灵活的架构，用户可以通过调用来启动具有指定端点的SQL Gateway。注意：如果 Flink 配置文件中还包含 sql-gateway.endpoint.type 选项，则 CLI 命令具有更高的优先级。返回结果中的operationHandle用于SQL Gateway唯一标识提交的SQL。第 3 步：获取结果。

flink sql gateway初探

不爱学习的小妞博客

12-07

1738

flink 1.16版本中发布了一个新功能–SQL gateway，本篇文章就来实践测试下该功能。

flink源码分析_Flink深入浅出：Sql Gateway源码分析

weixin_39736150的博客

11-30

476

Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题：1 如何处理并发请求？多个提交怎么处理？2 如何维护多个sql之...

Flink使用SQL Gateway提交SQL Job到远程集群

最新发布

Denny辉的博客

11-11

1497

flink使用sql gateway提交Job到远程集群，从Flink 1.16.0开始集成了SQL Gateway功能，提供了多种客户端远程并发执行SQL的能力。不用再使用提交jar包的方式来创建任务了。我是使用filnk 1.17.1版本。SQL Gateway提交作业的执行后端可以是Flink的standalone集群或者是Yarn集群。

flink 1.18 sql gateway /sql gateway jdbc

newbrid007的博客

01-15

1709

2-1 启动gateway 之前先启动一个flink session ./bin/yarn-session.sh -d2-2 启动命令：2-3 查看日志观察是否启动成功：查看日志出现这个条信息就证明已经找到了flink session applicationId[图片]可以观察到 yarn-properties-yarn 文件中存在一个session applicationId 这个applicationId是覆盖关系当启动多个session 的时候这里只保存最新创建的那个。

Flink Sql Gateway的原理与实践

OPPO数智技术

12-16

4141

我们在使用Flink开发实时任务时，都会用到框架本身提供的DataStream API，这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑；这种方式虽然灵活且表达性强，但对用户具有一定的开发门槛，并且随着版本的不断更新，DataStream API也有很多老版本不兼容的问题。

Flink Sql Gateway源码分析

野狼e族的博客

01-31

1196

Flink Sql Gateway是Flink集群的“任务网关”，支持以rest api的形式提交查询、插入、删除等任务。官网推荐与Flink jdbc driver搭配使用，不过jdbc driver限制了很多功能，如果自己开发数据平台，最好还是直接使用sql gateway。想要透彻的使用sql gateway，需要了解一下问题： 1 如何处理并发请求？多个提交怎么处理？ 2 如何维护多个sql之间的关联性？ 3 sql字符串如何提交到集群形成代码 4 sql-gateway都支持哪些功能？

Gateway for flinksql

lodaner的博客

03-25

384

Gateway for flinksql 简介 github: flink-sql-gateway Flink SQL gateway is a service that allows other applications to easily interact with a Flink cluster through a REST API. User applications (e.g. Java/Python/Shell program, Postman) can use the REST API to

SQLGatewayApp:SQL Gateway接口可轻松执行sql语句

03-18

SQLGatewayApp SQL Gateway接口可轻松执行sql语句。

flink1.16 系统集成了 sql gateway 功能

celltobig的专栏

02-20

853

# flink1.16 系统集成了 sql gateway 功能，其中包括两种方式，1. rest 2.hiveserver2 # 测试 read write. hive iceberg 都可以

Flink中的SQL Client和SQL Gateway

wang2leee的博客

09-03

759

SQL Client：Flink SQL Client是一种用于提交和执行Flink SQL语句的命令行界面或图形界面工具。SQL Gateway：Flink SQL Gateway是一个独立的服务，它允许客户端通过RESTful API将SQL查询提交到Flink集群。SQL Client定义用于提交和执行Flink SQL语句的工具允许通过RESTful API将SQL查询提交到Flink集群使用方式命令行或图形界面部署方式客户端本地运行单独的独立服务适用场景。

Flink SQL Gateway REST Endpoint 使用教程

JasonLee实时计算

12-13

2456

介绍SQL Gateway 是一种支持远程多个客户机并发执行 SQL 的服务。它提供了一种提交 Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插拔 Endpoints 和 SqlGatewayService 组成。SqlGatewayService 是一个被 Endpoints 重用来处理请求的处理器。Endpoints 是允许用户连接的入口点。根据 End...

Flink SQL Gateway+Flink JDBC Driver

张小小凡

07-22

1881

使用Flink SQL Gateway+Flink JDBC Driver实现更方便的提交flink任务，获取想要的结果。具体文档如下，跟着readme操作就行，很简单。目前只支持flink1.10 https://github.com/ververica/flink-sql-gateway https://github.com/ververica/flink-jdbc-driver 官方还提供了一个sql的测试工具flink-sql-benchmark https://github.com/verver

Flink SQL Gateway 使用教程

gitblog_00150的博客

08-16

772

Flink SQL Gateway 使用教程项目介绍 Flink SQL Gateway 是一个开源项目，旨在提供一个可扩展的 RESTful API，用于执行 Flink SQL 查询和管理 Flink 作业。该项目由 Ververica 维护，是 Apache Flink 生态系统的一部分。Flink SQL Gateway 允许用户通过简单的 HTTP 请求来提交和查询 Flink SQL...

Apache Flink SQL Gateway 使用指南

gitblog_00770的博客

08-16

781

Apache Flink SQL Gateway 使用指南 1. 目录结构及介绍 Apache Flink SQL Gateway 的源代码仓库展示了以下主要目录结构： bin：包含了用于启动和管理SQL Gateway的服务脚本。 conf：存放了项目的核心配置文件flink-conf.yaml等，用于自定义SQL Gateway的行为。 e2e-tests：端到端测试相关代码和配置。 src...

Flink SQL篇，SQL实操、Flink Hive、CEP、CDC、GateWay

http://www.54tianzhisheng.cn/

03-24

3008

Flink源码篇，作业提交流程、作业调度流程、作业内部转换流程图Flink核心篇，四大基石、容错机制、广播、反压、序列化、内存管理、资源管理Flink基础篇，基本概念、设计理念、架构模型、编程模型、常用算子1、Flink SQL有没有使用过？2、Flink被称作流批一体，从哪个版本开始，真正实现流批一体的？3、Flink SQL 使用哪种解析器？4、Calcite主要功能...

flink SQL Gateway使用案例

04-04

假设一家银行想要实时监控其客户的交易行为，以便及时发现异常行为并采取措施。为了实现这个目标，银行可以使用 Apache Flink 和 Flink SQL Gateway 来构建一个实时监控系统。以下是一个可能的方案： 1. 数据源：银行的交易系统将实时交易数据发送到 Apache Kafka 中 2. 数据处理：使用 Flink 流处理作业，读取 Kafka 中的数据并进行实时计算和聚合。例如，可以计算每个客户的平均交易金额、交易次数和交易金额等指标，并将结果写回 Kafka 中。 3. Flink SQL Gateway：使用 Flink SQL Gateway 提供一个 SQL 接口，以便银行的分析师和业务人员可以使用 SQL 查询实时计算结果。例如，可以使用以下语句查询每个客户的平均交易金额： ``` SELECT customer_id, AVG(amount) AS avg_amount FROM transactions GROUP BY customer_id ``` 4. 实时监控：使用 Flink SQL Gateway 提供的实时查询功能，监控特定的交易行为。例如，可以使用以下语句实时监控每个客户的交易金额是否超过其平均金额的两倍： ``` SELECT customer_id, amount FROM transactions WHERE amount > 2 * (SELECT AVG(amount) FROM transactions WHERE customer_id = ?) ``` 这样，银行就可以实时监控客户的交易行为，并及时发现异常行为。同时，分析师和业务人员也可以使用 SQL 查询实时计算结果，以便更好地理解客户的交易行为。