Flink1.12 API 读取并执行SQL文件，实现FLINKSQL SHELL功能

最新推荐文章于 2024-06-05 11:03:07 发布
最新推荐文章于 2024-06-05 11:03:07 发布
阅读量979 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink-实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/huang_rx/article/details/119250103
本文档详细介绍了如何利用Flink1.12的API从SQL文件中读取并执行SQL语句，从而实现类似FLINKSQL SHELL的功能。通过此方法，开发者可以便捷地在Flink环境中运行批处理或流处理SQL任务。 
<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
了解本专栏 订阅专栏 解锁全文
Flink通过读取sql语句，执行代码
qq_31866793的博客
10-09 2896
参考：http://wuchong.me/blog/2019/09/02/flink-sql-1-9-read-from-kafka-write-into-mysql/ 参考：https://github.com/wuchong/flink-sql-submit 1）做一个最简单的sql配置文件 -- -- 开启 mini-batch -- SET table.exec.mini-batch.enabled=true; -- -- mini-batch的时间间隔，即作业需要额外忍受的延迟 -.
flink-sql-submit-client:执行Flink SQL 文件的客户端
05-29
flink-sql-submit-client 执行Flink SQL 文件的客户端 Flink 版本：flink 1.11.0 其他版本待测试 是在的基础上修改而来 使用简单方便 需要指定FLINK_HOME 下载上面code中的jar包 修改 sql-submit.sh 脚本中jar包的路径 和指定 FLINK_HOME jar包可以直接用，如有需要可以根据源码自行修改，然后再打包，改源码后注意修改jar包主类 使用方式 ./sql-submit.sh -f <sql>
FlinkSql客户端执行SQL文件
ChengYanan的博客
07-22 3525
Flink版本：1.11.0 Flink 最新版本1.11.0 仍然没有提供类似于 sqlclient -f file.sql的客户端交互方式，所以我们自己实现了一个： 源代码以及使用方式放在了： https://github.com/Chengyanan1008/flink-sql-submit-client 使用的时候配置好直接执行： ./sql-submit.sh -f <sql-file> 即可。 ...
Flink sql 之sql执行计划
启迪思维，精进技术
01-04 1525
flink sql 的执行计划 查看方式3种 1.方式一 // 计算iopv Table calculateTable = tableEnv.sqlQuery("select \n" + " fund_code,\n" + " (sum_cash+sum_creation_cash_substitute+estimate_cash_component)/creation_redemption_unit as real_
flink教程-基于flink 1.11 使 sql客户端支持执行sql文件
公众号[大数据技术与应用实战]，分享大数据实战案例
08-02 2145
目前flink的sql客户端提供了一种交互式的sql查询服务，用户可以使用sql客户端执行一些sql的批任务或者流任务。但是当我想执行一些sql的定时任务时，flink却没有提供一个合适的方式，所以综合考虑了一下，我决定在sql的客户端基础上给加一个 ‘-filename (-f)’ 参数，就像类似’hive -f abc.sql’ 一样，可以执行一批sql任务。
flink 1.12 批处理读写hive基础教程
u012447842的博客
12-01 6513
flink 1.12批量读写hive基础教程
Flink SQL Kafka写入Hudi详解
一个数据小开发的博客
04-13 4790
Flink读写Hudi案列详解
Flink1.12-2021黑马 1-6原理+算子+窗口+容错
紫蝶侠的博客
03-10 2078
1.Flink介绍 组件栈 应用场景 所有的流式计算 #２.Flink安装部署 local本地模式-了解 原理 本地模式是以多线程的方式模拟各个角色 操作 1.下载安装包 https://archive.apache.org/dist/flink/ 2.上传flink-1.12.0-bin-scala_2.12.tgz到node1的指定目录 3.解压 tar -zxvf flink-1.12.0-bin-scala_2.12.tgz 4.如果出现权限问题，需要修改权限 chown -R root
2024-02-28（Kafka，Oozie，Flink）
cxr的博客
02-28 1072
Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。批处理的特点是有界、持久、大量，批处理非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实时，流处理方式无需针对整个数据集执行操作，而是对通过系统传输的每个数据项执行操作，一般用于实时统计。在 Spark 生态体系中，对于批处理和流处理采用了不同的技术框架，
FlinkSql读取文件数据并且将数据转成表的Demo
张俊杰 的博客
07-11 1401
sensor.txt内容 sensor_1,1547718199,35.8 sensor_6,1547718201,15.4 sensor_7,1547718202,6.7 sensor_10,1547718205,38.1 sensor_1,1547718207,37.2 sensor_1,1547718212,33.5 sensor_1,1547718215,38.1 Flink定义表结构 import org.apache.flink.streaming.api.scala._ import org
kafka 导入mysql_Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
weixin_39564853的博客
01-19 306
上周六在深圳分享了《Flink SQL 1.9.0 技术内幕和最佳实践》，会后许多小伙伴对最后演示环节的 Demo 代码非常感兴趣，迫不及待地想尝试下，所以写了这篇文章分享下这份代码。希望对于 Flink SQL 的初学者能有所帮助。完整分享可以观看 Meetup 视频回顾 ：https://developer.aliyun.com/live/1416这份代码主要由两部分组成：1) 能用来提交 S...
【flink】sql文件解析提交
weixin_50573352的博客
09-22 211
【代码】【flink】sql文件解析提交。
Flink sql
CarloPan的博客
10-03 741
1 SQL 客户端 Flink 的 Table & SQL API 可以处理 SQL 语言编写的查询语句，但是这些查询需要嵌入用 Java 或 Scala 编写的表程序中。此外，这些程序在提交到集群前需要用构建工具打包。这或多或少限制了 Java/Scala 程序员对 Flink 的使用。 SQL 客户端的目的是提供一种简单的方式来编写、调试和提交表程序到 Flink 集群上，而无需写一行 Java 或 Scala 代码。SQL 客户端命令行界面（CLI）能够在命令行中检索和可视化分布式应用..
【Flink SQL】Flink SQL 基础概念（一）：SQL &amp； Table 运行环境(1)
2401_84185106的博客
05-06 1091
/ 1. 创建一个数据源（输入）表，这里的数据源是 flink 自带的一个随机 mock 数据的数据源。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。需要外部 Catalog 持久化！//.inBatchMode() // 声明为批任务。需要外部 Catalog 持久化！// Table API 中的一个 Table 对象。//.inBatchMode() // 声明为批任务。
flink08 FlinkSQL（上）
最新发布
qq_34714700的博客
06-05 708
更接近传统的数据库，会将执行的结果以制表的形式直接打在屏幕之上。具体显示的内容会取决于作业 执行模式的不同(数据中字段的顺序需要和建表语句字段的顺序保持一致 （顺序映射） 默认按照逗号分割。在内存中实体化结果，并将结果用规则的分页表格可视化展示出来。flink表中的字段和类型需要和json中保持一致（同名映射）用于生成测试数据，可以用于高性能测试。1、可以用于处理有界流和无界流。3、流处理模式底层时持续流模型。）组成的持续查询产生结果流。2、流处理模式输出连续结果。用于保存更新更改的结果流。
2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)
向热爱自己一样，热爱这个世界。
10-17 6187
如何使用FlinkSQL读取&写入到文件系统(HDFS\Local)
Flink_Sql和Table Api_1
959
04-04 2244
文章目录1.Flink Sql介绍2.快速上手2.1 Flink sql 编程12.2 Flink Sql 编程23.相关表3.1 连接器表 1.Flink Sql介绍 可以看出来Flink SQL 位于顶层 在 Flink 中这两种 API 被集成在一起，SQL 执行的对象也是 Flink 中的表（Table），所以我们一般会认为它们是一体的。 Flink 是批流统一的处理框架，无论是批处理（DataSet API）还是流处理（DataStream API），在上层应用中都可以直接使用 Table AP
Flink实战（七十九）：flink-sql使用（七）流式SQL应用(实时使用)
微信搜：import_bigdata，大数据领域硬核原创作者
01-23 1509
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。 《2021年最新版大数据面试题全面开启更新》 　随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 　　接下来咱们针对构建流式SQL应用文章的梗概如下： 　　1. 搭建流式SQL应用所需要的环境准备。 　　2. 构建一个按每小时进行统计购买量的应用。 　　3. 构建每天以10分钟的粒度进行统计应用。 　　4
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

南修子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值