Flink 实践教程:入门(3):读取 MySQL 数据

学习笔记:Flink 读取和写入MySQL数据 实际开发中,经常会实时接收一些数据,要和MySQL中存储的一些规则进行匹配,那么这时候就可以使用 Flink 自定义数据源从MySQL 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将为您详细介绍如何取 MySQL 数据,经过流计算 Oceanus 实时计算引擎分析,输出数据到日志(Logger Sink)当中。

操作视频

前置准备

创建流计算 Oceanus 集群

进入 流计算 Oceanus 控制台,点击左侧【集群管理】,点击左上方【创建集群】,具体可参考流计算 Oceanus 官方文档 创建独享集群。

创建 Mysql 实例

进入 MySQL 控制台,点击【新建】。具体可参考官方文档 创建 MySQL 实例。然后在【数据库管理】> 【参数设置】中设置参数 binlog_row_image=FULL,便于使用 CDC(Capture Data Change)特性,实现数据的变更实时捕获。

!创建流计算 Oceanus 集群和 MySQL 实例时所选 VPC 必须是同一 VPC。

流计算 Oceanus 作业

1. 创建 Source
CREATE TABLE `MySQLSourceTable` (
    `id` INT,
    `name` VARCHAR,
    PRIMARY KEY (`id`) NOT ENFORCED  -- 如果要同步的数据库表定义了主键, 则这里也需要定义
) WITH (
    'connector' = 'mysql-cdc',       -- 必须为 'mysql-cdc'
    'hostname' = '10.0.0.158',       -- 数据库的 IP
    'port' = '3306',                 -- 数据库的访问端口
    'username' = 'root',             -- 数据库访问的用户名(需要提供 SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT, SELECT, RELOAD 权限)
    'password' = 'xxxxxxxxxx',       -- 数据库访问的密码
    'database-name' = 'testdb',      -- 需要同步的数据库
    'table-name' = 'student'         -- 需要同步的数据表名
);
2. 创建 Sink
CREATE TABLE CustomSink ( 
  id INT,
  name VARCHAR
) WITH ( 
    'connector' = 'logger',
    'print-identifier' = 'DebugData'
);
3. 编写业务 SQL
INSERT INTO CustomSink
SELECT * FROM MySQLSourceTable;
4. 运行作业

点击【保存】>【发布草稿】运行作业。查看Flink UI Taskmanger 日志,观察全量数据是否正常打印到日志。

5. 验证 MySQL-CDC 特性

在 MySQL 中新增一条数据,然后在 Flink UI Taskmanger 日志中观察结果,观察新增的数据是否正常打印到日志。

在 MySQL 中修改和删除记录同样会更新到 Logger Sink中,并打印输出。

总结

1、Mysql CDC 支持对 MySQL 数据库的全量和增量读取,并保证 Exactly Once 语义。MySQL CDC 底层使用了 Debezium 来做 CDC(Change Data Capture),其工作特性可参考 数据库 MySQL CDC。
2、输入到 Logger Sink 的数据, 会通过日志打印出来,便于调试。Logger Jar 包下载地址:https://cloud.tencent.com/document/product/849/58713

在这里插入图片描述

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站Get~

【Flink入门】Flink自定义Source读取MySQL数据 在前一篇博客中已经简单介绍了Flink读取Kafka数据并通过Demo进行实践,这篇博客简单介绍Flink通过自定义Source读取MySQL数据并通过Demo进行演练。 首先我们来简单了解下SourceFunction 接口,它是所有 stream source 的根接口,它继承自一个标记接口(空接口)Function。 在IDEA中打开SourceFunction,按下图右击鼠标,选择Diagrams–>show Diagrams SourceFunction 定义了两个接口方法: 1、run 阅读详情

相关推荐

Flink读取Kafka数据Sink到MySQL和HBase数据库

Flink读取Kafka数据Sink到MySQL和HBase数据库 Flink将流数据Sink到数据库,一般需要自己自定义Sink的实现。下面示例,演示Sink到MySQL和HBase示例。 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import o...

Widsom的博客 9951

flink读写MySQL的两种方式

目前跑通的读写MySQL的方式有三种,一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat,一种是自定义source和sink,最后一种是通过DDL连接MySQL进行读写(但是这种只在idea调试通了,打包上传后运行报错,因此比较的时候只比较前两种)。 引入依赖 <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --> <de...

大JAVA解决方案 1万+

flink sql 从mysql读数据写入到mysql实践

背景 主要是实践下从mysql读数据写入到mysql,期间也会遇到的一些问题。 参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/jdbc.html 先决条件 添加maven依赖,从mysql读取数据到mysql这两个依赖必不可少 <dependency> <groupId>org.apache.flink</g

pop_xiaohao的专栏 6348

Flink 读写MySQL数据(DataStream和Table API)

Flink提供了基于JDBC的方式,可以将读取到的数据写入到MySQL中;本文通过两种方式将数据下入到MySQL数据库,其他的基于JDBC的数据库类似,另外,Table API方式的Catalog指定为Hive Catalog方式,持久化DDL操作。Maven依赖,包含了Hive Catalog的相关依赖 DataStream方式读写MySQL数据 Table API的方式读写MySQL,其中Flink的Catalog使用Hive Catalog的方式 MySQL中的数据..........

wank1259162的博客 9822

Flink CDC 同步 Mysql 数据

Flink CDC 基于数据库日志的技术,实现了全量和增量的一体化读取能力,并借助 Flink 优秀的管道能力和丰富的上下游生态,支持捕获多种数据库的变更,并将这些变更实时同步到下游存储。

小强签名设计 的博客 1909

Flink实战 - 使用异步方式读取mysql数据

Flink 是流计算引擎 在Flink任务开发过程中经常会遇到从外部存储获取数据的场景,比如处理日志数据时,需要获取到用户的信息

m0_49826240的博客 2876

Flink CDC 读取MySQL的数据

1、前提背景准备 Flink在1.11之后就已经支持从MySQL增量读取Binlog日志的方式。 pom文件如下: <properties> <scala.binary.version>2.11</scala.binary.version> <scala.version>2.11.12</scala.version> <flink.version>1.12.0</flink.version>

一个数据小开发的博客 1万+

Flink 实践教程:入门:使用 Flink 读取 MySQL 数据

在本教程中,我们学习了如何使用 Flink 从 MySQL 数据库中读取数据的基本步骤。我们首先准备了运行 Flink 和连接 MySQL 数据库所需的环境,并导入了必要的依赖。此外,还可以使用 Flink 提供的其他功能和操作符来进一步处理和分析读取的数据。接下来,我们将编写 Flink 代码来读取 MySQL 数据库中的数据。查看结果:在 Flink 的日志输出或控制台输出中,你将看到从 MySQL 数据库读取的数据。Apache Flink:从 Flink 官方网站下载并安装最新版本的 Flink。

PmtxPhp的博客 1615

flink读取mysql的数据

flink读取mysql的数据 1.导入需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1...

qq_45255036的博客 5776

【Flink】 Flink实时读取mysql数据

System.out.println("1 分钟内收集到 student 的数据条数是:" + students.size());System.out.println("1 分钟内收集到 student 的数据条数是:" + students.size());System.out.println("发送数据: " + GsonUtil.toJson(student));System.out.println("成功了插入了" + count.length + "行数据");

wjianwei666的专栏 1671

osgEarth shapefile矢量生成三维模型案例 2.boston.earth

osgEarth shapefile矢量生成三维模型案例 2.boston.earth 波士顿城市建筑、路灯、公园、道路shp矢量生成三维模型案例。

qq_24934183的博客 3546

Flink CDC读取Mysql数据

Flink Mysql CDC的核心原理都是通过监控mysql的binlog的日志变化,从而进行日志解析,得到变化的数据。 Flink CDC官网:https://github.com/ververica/flink-cdc-connectors MySql CDC:https://github.com/ververica/flink-cdc-connectors/blob/master/docs/content/con

penngo的专栏 4381

树莓派教程(基于python编程)--入门篇

一:格式化SD卡 SD卡插入读卡器连接电脑,使用SDFormatter对SD卡进行格式化 (重装烧录也要进行着SD卡格式化操作) 二:下载官方镜像 http://downloads.raspberrypi.org/raspbian_latest 三:烧录SD卡 使用Win32DiskImager将镜像烧录到格式化后的SD卡 SD卡盘根目录(/boot)下新建一个命名为ssh的...

qq_42109746的博客 6万+

Flink读取Mysql数据库

Flink操作数据库并没有像Spark那样简洁方便,有点类似java操作mysql的思路。 pom依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1.

Hello_World0825的博客 3216

使用强化学习快速让AI学会玩贪食蛇游戏(轻量级二十分钟训练+代码)

如何让AI玩会贪食蛇,甚至比你厉害概述构建问题(强化学习求解的一般步骤)环境动作定义状态定义奖励设计训练奖励值收敛图效果代码 概述 所用技术:强化学习(Deep Reinforcement Learning),属于一种无监督学习,利用奖励rewardrewardreward教会智能体AgentAgentAgent在合适的场景做合适的决策。 采用算法:试过两种算法D3QN和离散版本的PPO算法,最终采用离散版本PPO算法+GAE(PPO是我用过的性能最好的算法之一) 编程语言与深度学习框架:Python3.

ZYunfei的博客 2万+

通过一个具体的例子,讲解 SAP Cloud Platform Integration(CPI) 的使用方法

最近笔者由于项目需要,又得学习一个新工具:SAP Cloud Platform Integration,简称 CPI,以前又叫做HCI - HANA Cloud Platform Integration Service.笔者想通过本文,把使用这个工具的第一手体会,分享给曾经用过SAP CRM中间件,但尚未有机会接触到CPI的朋友们。之所以本文标题里把SAP CRM中间件和SAP CPI关联在一起,是因为二者同广义上说,扮演的都是系统集成里中间件的角色。SAP ERP和CRM通过qRFC进行业务数据同步,而中

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 2276

Flink从入门到实践(三):数据实时采集 - Flink MySQL CDC

注意MySQL的版本,本次是使用MySQL8.0进行演示。同时,Flink支持很多数据库的cdc。同时也要对应好版本,我们本次使用Flink是1.18,同时FlinkCDC也是3.0版本System . out . println("数据库:" + split [ 1 ]);System . out . println("表:" + split [ 2 ]);

秃了也弱了 4086

28、基准剂量法:原理、应用与计算详解

本文详细介绍了基准剂量法(BMD)的原理、在监管机构中的应用以及具体的计算方法。内容涵盖样本量与BMD的关系、主要监管机构如EPA对BMD的应用、BMD的模型选择与数据拟合过程、拟合优度评估、下置信限(BMDL)计算,以及实验设计对BMD结果的影响。同时,还讨论了剂量指标和响应选择的关键问题,为理解和应用基准剂量法提供了全面的参考。

info6的博客 281

Flink自定义并行读取Mysql数据

自定义Source概述 自定义Source是Flink学习中非常重要的一环,一般实现一个Source,可以继承下面几个类之一 SourceFunction RichSourceFunction ParallelSourceFunction RichParallelSourceFunction 前两个是单并行度,后2个是多并行度,无论是否多并行度,我们一般选择带Rich的SourceFunction, 也就是RichSourceFunction和RichParallelSourceFunction,这

dinghua_xuexi的专栏 2901

Creo模型装配总结

creo7.0的零件装配操作方法,建立基准面、新建约束、约束顺序

heda3的博客 1万+

学Simulink——控制执行场景实例:基于Simulink的智能车辆电子稳定控制(ESC)仿真

本文完成了基于 Simulink 的智能车辆电子稳定控制(ESC),实现了:✅ 构建含轮胎非线性的车辆动力学模型✅ 设计滑模横摆稳定性控制器✅ 实现四轮制动力分配逻辑✅ 验证在双移线低附着场景下的卓越稳定性✅ 为主动安全控制系统开发提供完整范式。

xiaoheshang_123的博客 529

Flink(二十)—— Flink 读取 Kafka 数据批量写入到 MySQL

准备 你需要将这两个依赖添加到 pom.xml 中 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.34</version> </dependency> 向 kafka 写数据 这里我依旧用的以前的 student 类,自己本地起了 k

weixin_42073629的博客 4677

人工智能训练师三级考试大纲深度解读|理论+实操分值分布+六大模块占比

三级人工智能训练师考试分为理论和实操两大模块(各100分,合格线60分)。理论考试包含AI基础(30%)、数据标注(25%)、模型训练(20%)、测试(15%)和系统运维(10%),题型为客观题;实操考核侧重数据标注(40%)、模型测试(35%)和系统运维(25%),采用现场操作形式。复习应优先关注AI基础和数据标注等高分值模块,实操需重点掌握标准流程和结果准确性(占评分70%)。考试要求两模块均达标,理论侧重概念理解,实操强调规范执行与文档完整。

白话机器学习 1109

Flink 实践教程 - 入门(4):读取 MySQL 数据写入到 ES

作者:腾讯云流计算 Oceanus 团队 流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。 本文将为您详细介绍如何使用 MySQL 接入数据,经过流计算 Oceanus 对数据进行处理分析(示例中采用小写转换函数对name字段进行了小写转换),最终将处理

cloudbigdata的博客 1663

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

Flink CDC读取MySQL的例子

前面转载了Flink CDC的...

专注数据库、大数据领域干货分享,用严谨的数据技术广交天下朋友。 2489

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Flink 读取 Mysql

前言 离线分析一直用的Spark,而且感觉很不错的。不过在实时计算Flink显然比Spark更具有优势,而且Flink也支持离线分析,虽然还没有Spark这么强大,但是相信不远的将来完全在离线分析方面也有能力与其抗衡,因此测试了一下Flink to Mysql 代码 package dataset import org.apache.flink.api.common.typeinfo.Basic...

SunnyRivers 3250

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: Flink 实践教程:入门(2):写入 Elasticsearch
下一篇: 构筑“数据连接器”,腾讯云大数据推出“开源开放”战略
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值