Flink 实践教程 - 入门(4):读取 MySQL 数据写入到 ES

flink-cdc 同步mysql数据到ES时间格式问题。 flink-cdc 同步mysql数据到ES,时间格式的处理非常蛋疼的一件事。 首先ES的标准时间格式是yyyy-MM-ddTHH:mm:ss.SSSZ时间精度是毫秒也就是TABLE中对应的TIMESTAMP_LTZ(3), 阅读详情

作者:腾讯云流计算 Oceanus 团队

流计算 Oceanus 简介

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时化数字化的建设进程。

本文将为您详细介绍如何使用 MySQL 接入数据,经过流计算 Oceanus 对数据进行处理分析(示例中采用小写转换函数对name字段进行了小写转换),最终将处理好的数据存入 Elasticsearch 中 。

操作视频

前置准备

1. MySQL 集群准备

1.1 新建 MySQL 集群

进入 MySQL 控制台[1],点击左上方【新建】创建集群。具体可参考官方文档 创建 mysql 实例[2]。在【数据库管理】> 【参数设置】中设置参数 binlog_row_image=FULL,便于使用 CDC(Capture Data Change)特性,实现数据的变更实时捕获。

1.2 准备数据

首先创建 testdb 库,并在 testdb 库中创建用户 user 表,并插入数据。

user 表结构:

字段名类型含义
user_idint用户ID
user_namevarchar(50)用户名
create_timetimestamp创建时间

在表中插入2条数据。

INSERT INTO `user` (`user_id`, `user_name`, `create_time`) VALUES (1001, '小明', '2021-10-01 00:00:00');
INSERT INTO `user` (`user_id`, `user_name`, `create_time`) VALUES (1002, 'TONY', '2021-10-02 00:00:00');
1.3 设置参数

点击实例 ID,在实例详情页面点击【数据库管理】进入【参数设置】面板,设置binlog_row_image=FULL来开启数据库变化的同步。

通过MySQL集成数据到 Oceanus (Flink) 集群,可以使用flink-connector-jdbc或者flink-connector-mysq-cdc。使用MySQL-cdc特性时,flink-connector-mysq-cdc 连接器需要设置 MySQL 数据库的参数 binlog_row_image=FULL。

2. 创建流计算 Oceanus 集群

进入 Oceanus 控制台[3],点击左侧【集群管理】,点击左上方【创建集群】,具体可参考 Oceanus 官方文档创建独享集群[4]。

创建 Oceanus 集群和 MySQL 集群时所选 VPC 必须是同一 VPC。

3. 创建 Elasticsearch 集群

进入 Elasticsearch 控制台[5],点击左上方【新建】,创建 Elasticsearch 实例,具体操作请访问创建 Elasticsearch 集群[6]。

创建 ES 集群和 Oceanus 集群时所选私有网络 VPC 必须是同一 VPC。

流计算 Oceanus 作业

1. 创建 Source

CREATE TABLE `user_source` (
    `user_id` int,
    `user_name` varchar(50),
    PRIMARY KEY (`user_id`) NOT ENFORCED -- 如果要同步的数据库表定义了主键, 则这里也需要定义
) WITH (
    'connector' = 'mysql-cdc',      -- 必须为 'mysql-cdc'
    'hostname' = '10.0.0.158',      -- 数据库的 IP
    'port' = '3306',                -- 数据库的访问端口
    'username' = 'root',            -- 数据库访问的用户名(需要提供 SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT, SELECT, RELOAD 权限)
    'password' = 'yourpassword',    -- 数据库访问的密码
    'database-name' = 'testdb',     -- 需要同步的数据库
    'table-name' = 'user'           -- 需要同步的数据表名
);

2. 创建 Sink

-- Elasticsearch 只能作为数据目的表(Sink)写入
-- 参见 https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector

CREATE TABLE es_sink (
    `user_id` INT,
    `user_name` VARCHAR
) WITH (
    'connector.type' = 'elasticsearch',    -- 输出到 Elasticsearch
    'connector.version' = '6',             -- 指定 Elasticsearch 的版本, 例如 '6', '7'. 
    'connector.hosts' = 'http://10.0.0.175:9200', 
    'connector.index' = 'User',     
    'connector.document-type' = 'user',  
    'connector.username' = 'elastic',  
    'connector.password' = 'yourpassword', 

    'update-mode' = 'upsert',              -- 捕捉数据库变化时,需使用 'upsert' 模式 
    'connector.key-delimiter' = '$',       -- 可选参数, 复合主键的连接字符 (默认是 _ 符号)
    'connector.key-null-literal' = 'n/a',  -- 主键为 null 时的替代字符串,默认是 'null'
    'connector.connection-max-retry-timeout' = '300', -- 每次请求的最大超时时间 (ms)
    'format.type' = 'json'                 -- 输出数据格式, 目前只支持 'json'
);

3. 编写业务 SQL

insert into es_sink
(
    select user_id,
    LOWER(user_name) -- LOWER()函数会将用户名转换为小写
    from user_source
);

4. 选择 Connector

点击【保存】>【发布草稿】运行作业。

请根据实际购买的 Elasticsearch 版本选择对应的 Connector ,1.13 版本之后无需选择可自动匹配 Connector。

5. 数据查询

进入 Elasticsearch 控制台[5],点击之前购买的 Elasticsearch 实例,点击右上角【Kibana】,进入 Kibana 查询数据。具体查询方法请参考通过 Kibana 访问集群[7]。

总结

本示例用 MySQL 连接器持续集成数据库数据变化记录,经过流计算 Oceanus 实现最基础的数据转换功能,最后 Sink 到Elasticsearch 中,用户无需提前在 Elasticsearch 中创建索引。
另外,ES 作为Source/Sink , 使用时间戳 timestamp 类型字段时长度需指定,如:timestamp(3)

参考阅读

[1]: MySQL 控制台:https://console.cloud.tencent.com/cdb
[2]: 创建 mysql 实例:https://cloud.tencent.com/document/product/236/46433
[3]: 流计算 Oceanus 控制台:https://console.cloud.tencent.com/oceanus/overview
[4]: 创建 Oceanus 独享集群:https://cloud.tencent.com/document/product/849/48298
[5]: Elasticsearch 控制台:https://console.cloud.tencent.com/es
[6]: 创建 Elasticsearch 集群:https://cloud.tencent.com/document/product/845/19536
[7]: 通过 Kibana 访问集群:https://cloud.tencent.com/document/product/845/19541

关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站 Get~
关注“腾讯云大数据”公众号,技术交流、最新活动、服务专享一站 Get~

流计算 Oceanus 限量秒杀专享活动火爆进行中↓↓
在这里插入图片描述

java flink 读取ES 2运行环境flink standalone模式 1、main 入口 package es; import org.apache.flink.api.java.DataSet; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.tuple.Tuple3; import org.apache.flink.util.FileUtils; import java.io.File; 阅读详情

相关推荐

flink sql 从mysql读数据写入到ElasticSearch实践

背景 主要是实践下从mysql读数据写入到ElasticSearch,以及总结下相关问题和想法 参考链接:https://ci.apache.org/projects/flink/flink-docs-release-1.11/zh/dev/table/connectors/elasticsearch.html 先决条件 添加maven依赖,从mysql读取数据这两个依赖必不可少 <dependency> <groupId>org.apac

pop_xiaohao的专栏 4078

flink同步mysql数据到ES

org.apache.flink flink-connector-elasticsearch6_2.11 1.13.6

shy_snow的专栏 2138

ES 数据写入方式:直连 VS Flink 集成系统

ES 作为一个分布式搜索引擎,从扩展能力和搜索特性上而言无出其右,然而它有自身的弱势存在,其作为近实时存储系统,由于其分片和复制的设计原理,也使其在数据延迟和一致性方面都是无法和 OLTP(Online Transaction Processing)系统相媲美的。也正因如此,通常它的数据都来源于其他存储系统同步而来,做二次过滤和分析的。这就引入了一个关键节点,即 ES 数据的同步写入方式,本文介绍的则是 MySQL 同步 ES 方式。将 MySQL 数据写入 ES,首先想到的一定是消费 Binlog 直连

字节跳动云原生计算官方账号 1668

基于DolphinScheduler构建大数据调度平台

Apache DolphinScheduler是一个新一代分布式大数据工作流任务调度系统,致力于“解决大数据任务之间错综复杂的依赖关系,整个数据处理开箱即用”。它以 DAG(有向无环图) 的方式将任务连接起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及 Kill任务等操作。目前已经有像IBM、腾讯、美团、360等400多家公司生产上使用。 调度系统现在市面上的调度系统那么多,比如老牌的Airflow, Oozie,Kettle,xxl-job ,Spring Batch等等, 为什么要选DolphinScheduler ? DolphinScheduler 的定位是大数据工作流调度。通过把大数据和工作流做了重点标注. 从而可以知道DolphinScheduler的定位是针对于大数据体系。 DolphinScheduler是非常强大的大数据调度工具,有以下一些特点:1、通过拖拽以DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态;2、支持丰富的任务类型;3、支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作;4、支持工作流全局参数及节点自定义参数设置;5、支持集群HA,通过 Zookeeper实现 Master 集群和 Worker 集群去中心化;6、支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计;7、支持补数,并行或串行回填数据。课程会带大家构建DolphinScheduler大数据调度平台,实战讲解多种任务调度配置,会基于案例讲解DolphinScheduler使用,让大家在实战中掌握DolphinScheduler。 DolphinScheduler 发展很快 很多公司调度都切换到了DolphinScheduler,掌握DolphinScheduler调度使用势在必行,抓住新技术机遇,为跳巢涨薪做好准备。

Flink实时读取Kafka数据,批量聚合(定时/按数量)写入Mysql

Flink读取Kafka数据并批量聚合(定时/按数量)写入Mysql

weixin_38203586的博客 6049

Flink读取Kafka数据Sink到MySQL和HBase数据库

Flink读取Kafka数据Sink到MySQL和HBase数据库 Flink将流数据Sink到数据库,一般需要自己自定义Sink的实现。下面示例,演示Sink到MySQL和HBase示例。 import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import o...

Widsom的博客 9951

60、Flink CDC 入门介绍及Streaming ELT示例(同步Mysql数据库数据到Elasticsearch)-完整版

本文介绍的CDC是基于2.4版本,当前版本已经发布至3.0,本Flink 专栏介绍是基于Flink 1.17版本,CDC 2.4版本支持到1.17版本。Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器,使用更改数据捕获(CDC)接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此,它可以充分利用Debezium的能力。了解更多关于Debezium的信息。

alanchanchn的专栏 7万+

使用 Flink CDC 构建 Streaming ETL: MySQL to ElasticSearch

假设我们正在经营电子商务业务,商品和订单的数据存储在 MySQL 中,订单对应的物流信息存储在 Postgres 中。对于订单表,为了方便进行分析,我们希望让它关联上其对应的商品和物流信息,构成一张宽表,并且实时把它写到 ElasticSearch 中。本教程的演示都将在 Flink SQL CLI 中进行,只涉及 SQL,无需一行 Java/Scala 代码,也无需安装 IDE。然后就可以在 http://localhost:5601/app/kibana/discover 看到写入的数据了.

Java_fenxiang的博客 1059

flink读取hive数据写入mysql_Flink SQL 连接Hive并写入/读取数据

1. 添加依赖1.11.22.11org.apache.flinkflink-streaming-scala_${scala.version}${flink.version}org.apache.flinkflink-connector-kafka-0.11_${scala.version}${flink.version}org.apache.flinkflink-clients_${scala....

weixin_30487899的博客 2782

FlinkCDC实战:将 MySQL 数据同步至 ES

CDC (Change Data Capture) 是 变更数据获取的简称。核心思想是监测并捕获数据库的变动(数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整地记录下来,写入到消息中间件中以供其他服务进行订阅并消费。Flink 社区开发了 flink-cdc-connectors 组件,这个一个可以直接从 MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source 组件。

m0_74823094的博客 804

flink 读取文件数据写入ElasticSearch

flink读取文件数据写到elasticsearch

congge_study的博客 9469

Flink CDC MySQL同步到Elasticsearch

本文介绍了使用Flink CDC实现MySQL到Elasticsearch实时数据同步的方法。通过Flink SQL方式搭建,采用Flink 1.20.3版本,配合MySQL 8.0+和Elasticsearch 7.9.3环境。详细说明了软件安装配置、Jar包准备、Flink集群启动步骤,并提供了完整的SQL同步脚本示例。文章重点讲解了Flink CDC的两种同步方式,以及scan.startup.mode参数的不同取值含义,展示了从MySQL表t_user到ES索引index_user的全量+增量数据同

愤怒的苹果ext的博客 1575

Flink 实践教程:入门:使用 Flink 读取 MySQL 数据

在本教程中,我们学习了如何使用 Flink 从 MySQL 数据库中读取数据的基本步骤。我们首先准备了运行 Flink 和连接 MySQL 数据库所需的环境,并导入了必要的依赖。此外,还可以使用 Flink 提供的其他功能和操作符来进一步处理和分析读取的数据。接下来,我们将编写 Flink 代码来读取 MySQL 数据库中的数据。查看结果:在 Flink 的日志输出或控制台输出中,你将看到从 MySQL 数据库读取的数据。Apache Flink:从 Flink 官方网站下载并安装最新版本的 Flink。

PmtxPhp的博客 1615

flink读取mysql的数据

flink读取mysql的数据 1.导入需要的依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>1...

qq_45255036的博客 5776

Gamit 数据处理,相关的文件配置

一、处理前准备 1、在主文件夹内新建test项目文件,项目内新建brdc、igs和rinex三个文件夹,分别存放广播星历,精密星历几观测值文件,所用的命令分别为sh_get_nav、sh_get_orbits和sh_get_rinex (若文件为.Z,用gunzip命令解压,若仍为d,用命令sh_crx2rnx -f 命令解压为o文件) 2、进入test项目文件夹,链接tables,运行 sh_setup -yr 2015 -apr itrf08_com.apr 3、生成station.info文件。 将t

CodeDoraemon的博客 3377

AI 辅助代码审查:开启代码质量管控的智能时代

AI辅助代码审查正在改变传统的代码质量管控方式。通过自动化分析、智能反馈和上下文感知,AI不仅提高了代码审查的效率,还提升了代码质量的一致性和可维护性。随着机器学习和深度学习技术的不断发展,未来AI将成为开发者日常工作中强大的助手,进一步推动软件开发向智能化、自动化方向发展。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 3229

Flink流处理将数据写入mysql_Flink将数据流写入Kafka,Redis,ES,Mysql

Flink写入不同的数据源写入到 Mysql写入到ES向 Redis写入向 kafka 写入导入公共依赖org.slf4jslf4j-simple1.7.25compileorg.apache.flinkflink-java1.10.1org.apache.flinkflink-streaming-java_2.121.10.1写入到 Mysql导入依赖mysqlmysql-connector-j...

weixin_35216469的博客 792

从科研小白到动物行为分析:我的DeepLabCut 3.0安装与初体验全记录

本文记录了从科研小白到成功安装并使用DeepLabCut 3.0进行动物行为分析的全过程。详细介绍了Anaconda环境配置、CUDA版本选择、DeepLabCut安装步骤及验证方法,并分享了初体验中的实用技巧和跨学科研究心得,为生物研究者提供了AI工具应用的实战指南。

weixin_30235225的博客 404

基于Flink CDC实现ElasticSearch同步MySQL环境搭建笔记

实现将不同MySQL Schema实时同步至同一数据源以供其他数据分析应用作为数据源调用。 搭建范围包括:供数据分析应用调用的数据源搭建以及MySQL数据同步

zhzhouzero的博客 1841

利用按键精灵实现批量截图与智能命名的高效工作流

本文详细介绍了如何利用按键精灵软件构建高效的批量截图与智能命名自动化工作流。通过基础脚本编写、循环逻辑实现及高级命名策略,解决手动操作耗时易错的问题,帮助用户实现一键自动截图、智能保存与文件重命名,大幅提升软件测试、教程制作及数据报告等场景的工作效率。

weixin_29268267的博客 570

全志T133-s3(Tina Linux)下RTL8723DS WiFi驱动移植与调试实战

本文详细介绍了在全志T133-s3平台(Tina Linux)上移植RTL8723DS WiFi驱动的完整流程,包括硬件连接、驱动源码获取、内核配置、系统适配、设备树配置以及常见问题排查。通过实战案例,帮助开发者快速解决SDIO接口通信、固件加载、电源管理等关键问题,实现稳定的WiFi功能。

weixin_30505225的博客 508

60、Flink CDC 入门介绍及Streaming ELT示例(同步Mysql数据库数据到Elasticsearch)-Streaming ELT介绍及示例(2)

CDC流式ELT框架是一个流数据集成框架,旨在为用户提供更强大的API。它允许用户通过自定义的Flink操作符和作业提交工具来配置他们的数据同步逻辑。该框架优先优化任务提交过程,并提供增强的功能,如整个数据库同步、分片和模式更改同步。✅端到端数据集成框架✅ API,用于数据集成用户轻松构建作业✅ 源/接收器中的多表支持✅ 同步整个数据库✅ 模式进化能力。

alanchanchn的专栏 7万+

RC电路(一):微分|积分

的取值不同,会导致输出波形和输入波形之间的关系也不同,由此也会产生不同的应用。输出为0,随着电容充满电,运放-输入端得到的分压为正最大值,可等效成一个电压源,且电压不可突变,此时电流反向为最大值,开始充电时的容抗为0,电压不可突变则电压差为0,运放。开始充电时的容抗为0,电压不可突变则电压差为0,运放。输入端得到的分压也不可突变,随着电容放完电,于是。,因电容上电压不能突变(来不及充电,相当于短路,由上分析可得积分运算电路中,输出为运放的负最大峰值,随着电容充满电,输出为运放的正最大峰值,随着电容放完电,

既有随处可栖的江湖,也有追风逐梦的骁勇! 1万+
上一篇: 构筑“数据连接器”,腾讯云大数据推出“开源开放”战略
下一篇: Flink 实践教程-入门(5):写入 ClickHouse
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值