Flink 作业的数据库提交流程

最新推荐文章于 2025-11-25 14:07:10 发布
最新推荐文章于 2025-11-25 14:07:10 发布
阅读量134 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： flink 数据库 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bug_syntax119/article/details/132842579
数据库 专栏收录该内容
159 篇文章 ¥59.90 ¥99.00
订阅专栏
本文详细介绍了Flink作业如何将配置信息和状态存储到数据库中，包括创建数据库表、提交作业到数据库的Java API示例以及更新作业状态的代码展示，帮助读者理解和管理Flink作业的执行情况。

Flink 作业的数据库提交流程

Flink 是一个流式处理框架，可以用于大规模数据流的实时处理。在进行 Flink 作业提交时，通常需要将作业的配置信息和数据存储在数据库中，以便管理和追踪作业的状态。本文将详细介绍 Flink 作业的数据库提交流程，并提供相应的源代码示例。

  1. 创建数据库表

首先，我们需要创建一个数据库表，用于存储 Flink 作业的相关信息。可以使用任何常见的关系型数据库，如 MySQL、PostgreSQL 或 Oracle。以下是一个示例表的结构：

CREATE TABLE flink_jobs (
    job_id INT PRIMARY KEY,
    job_name VARCHAR(255)
了解本专栏 订阅专栏 解锁全文
MySQL数据库操作（课程作业）
momobaba2018的博客
09-14 7689
一. 在命令行模式下登录MySQL数据库，使用SQL语句如下要求： 1. 创建留言数据库: blogdb。 2. 在blogdb数据库中创建会员表users和博客文章表blog，结构如下 3. 在会员表users中添加>=5条的测试数据。 4. 在blog博文信息表中添加>=10条的测试数据。 5. 最后将blogdb数据库中的信息导出，并以blogdb.sq...
[实时计算flink]数据库实时入仓快速入门
soso1968的博客
10-16 1894
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到Hologres的数据同步作业。
网上作业提交系统的数据库表
yuhec的专栏
10-23 2644
通过对作业提交系统功能和过程的分析，本系统应设计的实体和属性如下： 学生表（ID号，学号，密码，姓名，身份证号，班级）  教师表（ID号，职工号，密码，姓名，身份证号，所属系部） 管理员表（用户名，密码，身份证号） 班级表（ID号，班级编号，班级名称，所属系部） 课程表（ID号，课程编号，课程名，所属系部，授课教师ID） 作业要求表（ID号，作业名，作业描述，存放地址，所属课程ID，上
【hadoop】job提交全过程
inner Peace的博客
06-08 9158
一、作业提交过程之 YARN（1）作业提交第 0 步：client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce 作业。第 1 步：client 向 RM 申请一个作业 id。第 2 步：RM 给 client 返回该 job 资源的提交路径和作业 id。第 3 步：client 提交 jar 包、切片信息和配置文件到指定的资源提交路径。第 4 步：c...
sql作业提交系统_SQL语句分类
weixin_39985279的博客
12-09 225
0. 说明今天遇到一个同学分不清楚SQL所属的分类，所以我才总结下SQL语句的分类，其实基本上教科书上都会有这个。SQL语言共分为四大类：数据查询语言DQL，数据操纵语言DML，数据定义语言DDL，数据控制语言DCL。SQL语句分类简图1. 数据查询语言DQL数据查询语言DQL基本结构是由SELECT子句，FROM子句，WHERE子句组成的查询块：SELECT FROM WHERE 2 .数据操纵...
数据库事务的三种提交方式介绍
weixin_44900158的博客aa
04-12 8546
文章目录数据库事务提交的三种方式：为什么需要隐式提交：通过不同的数据库介绍自动提交和手动提交： 数据库事务提交的三种方式： 显式提交、隐式提交及自动提交。 参考：https://blog.youkuaiyun.com/qq_43686584/article/details/84548264 显式提交： 手动管理事务时，需要用COMMIT命令直接完成的提交为显式提交。其格式为 SQL>COMMIT； 自动提交 自动管理事务时，一条DML语句就会自动开启一次事务，并自动提交它。 其语法为： SQL>.
Flink 作业提交流程
记录点点滴滴
01-14 524
独立模式 (Standalone) : TaskManager 需要手动先启动 两种部署方式 : - 会话模式 : 预先启动 JobMaster - 应用模式 : 作业提交时 , 启动 JobMaster StandAlone 会话模式提交流程 : 1. 先启动 JobMaster , TaskManager 2. TaskManager 启动后，向 ResourceManager 注册可用任务槽 (slots) 3. Client 将作业生成作业流图 , 交给 JobManager
flink_cdc包提交流程
JavaBigData的博客
09-20 583
在idea中使用package命令带包，不带依赖 flink_cdc-1.0-SNAPSHOT.jar 1.添加第三方包到lib目录下，所有从节点也需要 mv test/flink-connector-mysql-cdc-1.1.1.jar /opt/module/flink/lib/ xsync /opt/module/flink/lib/flink-connector-mysql-cdc-1.1.1.jar 2.启动集群 start-cluster.sh localhost:8081 webui 3.
【Flink】详解 Flink 的两阶段提交
在路上的专栏
09-06 1166
Flink的两阶段提交协议通过事务机制和checkpoint结合，确保数据在流处理作业中的一致性和Exactly Once语义。这种机制广泛应用于需要高可靠性、数据精确处理的场景，尽管存在一定的性能开销，但它在数据处理的准确性和安全性上提供了强有力的保障。
flink checkpoint 两阶段提交协议详解
涛声依旧, 万古流名
04-19 1862
精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。
Flink架构及运行流程
qq_46447060的博客
08-30 1489
Flink 架构及相关介绍 1.架构图 分层设计说明(相关术语解释） 物理部署层-deploy层 负责解决Flink的部署模式问题， 支持多种部署模式：本地部署、集群部署（Standalone/Yarn/Mesos）、云（GCE/EC2）以及kubernetes。 通过该层支持不同平台的部署，用户可以根据自身场景和需求选择使用对应的部署模式。 Runtime核心层 是Flink分布式计算框架的核心实现层，负责对上层不同接口提供基础服务。 支持分布式Stream作业的执行、JobGraph到Executio
作业提交的全过程
张不帅
11-09 1325
作业提交之YARN 作业提交全过程详解 (1)作业提交 第0步:client调用job,waitForCompletion方法,向整个集群提交MapReduce作业 第1步:client向RM申请一个作业id 第2步:ResourceManager给client返回该job资源的提交路径和作业id 第3步:client提交jar包,切片信息和配置文件到指定资源提交路径 第4步:client提...
作业提交系统
weixin_30267785的博客
12-30 4765
大学在班上担任学习委员，每次收作业都十分麻烦。因此想自己制作一个作业提交系统。 此系统主要功能就是作业提交，简而言之就是文件上传。因为技术不佳，目前只做了个beta版，使用原生的HTML+JS+AJAX+Servlet，数据库使用mysql。因此美观度和功能性有待完善，各位大佬轻喷。 1.工作流程 2.数据库设计 此系统包含两个实体：课程，实验。即一个课程对应多个实验。 course...
在 Kubernetes 上跑 Flink CDCSession 模式 + Operator 模式实战指南
最新发布
hello.reader
11-25 339
Flink在Kubernetes上的部署与CDC实时同步实现 本文详细介绍了Flink在Kubernetes环境中的两种部署模式及CDC实时数据同步的实现方案。主要内容包括： 部署架构： 原生Kubernetes集成：JobManager/TaskManager以Pod形式运行，支持动态资源管理 Kubernetes Operator模式：通过CRD管理Flink集群生命周期 Session模式实现： 使用kubernetes-session.sh脚本创建Session集群 配置REST访问和Flin
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
hello.reader
11-25 919
本文介绍了如何在Flink Standalone模式下快速搭建CDC数据同步环境，实现MySQL到Doris的实时数据同步。主要内容包括：1）Flink Standalone集群的安装部署；2）Flink CDC独立包的配置方法；3）通过YAML文件定义MySQL到Doris的同步流水线；4）任务提交和监控方法。文章还提供了生产环境实践建议，如server-id管理、权限配置、时区设置等，帮助用户快速构建稳定可靠的CDC数据同步系统。
Flink系列之：Flink on YARN 支持的部署模式
zhengzaifeidelushang的博客
11-22 96
Flink系列之：Flink on YARN支持的部署模式
通过Flink 1.19 客户端实现Flink集群连接 Kafka 基础测试报告
QXXDYL的博客
11-23 680
你会看到大量的 JSON 数据滚动，其中包含最新的 Update 和 Delete 操作记录（Key 相同的数据，后面的消息会覆盖前面的状态）。：Kafka 中没有数据，或者 Flink 任务没能从 Kafka 读到数据（可能是 Topic 名称不对，或者 Group ID 问题）。：Kafka 物理数据量（1400）与 Flink 逻辑状态量（1200）符合流处理的一致性语义。对于 Kafka 中的更新消息（后到的消息），Flink 会更新内存中对应 Key 的状态。
Flink 1.19 客户端部署与 YARN 远程提交指南
QXXDYL的博客
11-23 887
现目前是调研批流一体数仓架构，整体的流程图如下：同时为了资源隔离、灵活性、安全性和高可用，需要部署单独的客户端便于管理。：在独立客户端机器（xx.x.xx.214）上部署 Flink 1.19，并配置其向远程 CDH 集群（xx.x.xx.201-xx.x.xx205）的 YARN Session 提交 SQL 任务。
在 YARN 上跑 Flink CDC从 Session 到 Yarn Application 的完整实践
hello.reader
11-25 1167
本文介绍了Flink CDC在YARN集群上的两种运行模式：Yarn Session模式和Yarn Application模式。Session模式适合开发调试，先启动长期运行的Flink集群再提交作业；Application模式更适合生产环境，每个作业独立启动专属集群，提供更好的资源隔离。 文章详细讲解了环境准备步骤，包括YARN集群验证、Flink安装配置和Hadoop类路径设置。针对MySQL到Doris的数据同步场景，提供了配置文件示例和两种模式的作业
Flink CDC API 提交job
03-15
### 使用 Flink CDC API 提交 Job 的方法 Flink CDC 是一种用于实时捕获数据库变更并将其转换为流数据的技术。它支持多种数据库源，如 MySQL 和 PostgreSQL，并能够实现高效的 Streaming ETL 流程[^1]。 以下是通过 Flink CDC API 提交作业的最佳实践以及示例教程： #### 1. 配置环境 在提交 Flink CDC 作业之前，需确保已正确配置好运行环境。这包括下载所需的依赖项（例如 `flink-cdc-connectors`），并将它们放置到 Flink 的 lib 文件夹下。此外，还需确认目标数据库的连接参数可用。 #### 2. 编写 SQL 脚本 可以通过编写 SQL 脚本来定义数据源和 Sink 表结构。以下是一个简单的例子，展示了如何从 MySQL 数据库读取数据并通过 Kafka 输出： ```sql -- 创建 MySQL CDC 源表 CREATE TABLE mysql_source ( id BIGINT, name STRING, age INT, ts TIMESTAMP(3), PRIMARY KEY (id) NOT ENFORCED ) WITH ( 'connector' = 'mysql-cdc', 'hostname' = 'localhost', 'port' = '3306', 'username' = 'root', 'password' = '123456', 'database-name' = 'test_db', 'table-name' = 'users' ); -- 创建 Kafka Sink 表 CREATE TABLE kafka_sink ( id BIGINT, name STRING, age INT, ts TIMESTAMP(3) ) WITH ( 'connector' = 'kafka', 'topic' = 'user_topic', 'properties.bootstrap.servers' = 'localhost:9092', 'format' = 'json' ); ``` 上述脚本创建了一个名为 `mysql_source` 的表作为数据源，并设置其使用 MySQL-CDC 连接器来监控指定数据库中的变化记录[^2]。 #### 3. 启动 Flink SQL CLI 并执行查询 启动 Flink SQL CLI 工具后加载先前编写的 DDL 命令文件或者手动输入命令完成表定义工作之后可以继续插入一条 INSERT INTO SELECT FROM 类型语句来进行实际的数据传输操作: ```sql INSERT INTO kafka_sink SELECT * FROM mysql_source; ``` 此命令会持续不断地把来自 `mysql_source` 的最新更新发送至 `kafka_sink` 中去。 #### 4. 提交任务至集群模式 如果希望以分布式的方式运行该程序，则可通过 RESTful 接口调用来触发整个流程；也可以利用官方提供的 Python/Java SDK 来封装更复杂的逻辑后再部署上去。具体步骤如下所示： - 准备 JSON 格式的请求体描述完整的拓扑图； - 发送 POST 请求给对应的 endpoint 地址 `/jobs`. 下面给出一段 python 示例代码片段说明这一过程： ```python import requests import json url = "http://<FLINK_REST_API_HOST>:8081/jars/<JAR_ID>/run" headers = {'Content-Type': 'application/json'} payload = { "entryClass": "org.apache.flink.streaming.api.environment.StreamExecutionEnvironment", "programArgs": ["--config", "/path/to/config"], "savepointPath": None } response = requests.post(url, data=json.dumps(payload), headers=headers) print(response.text) ``` 注意替换 `<FLINK_REST_API_HOST>` 及其他占位符为你自己的服务地址与 jar 包 ID 等信息。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值