最佳实践:MySQL CDC 同步数据到 ES

Flink CDC MySQL同步MySQL错误记录 错误1:Connector ‘mysql-cdc’ can only be used as a source. It cannot be used as a sink.问题2:Encountered “AUTO_INCREMENT”问题3:Encountered “DEFAULT”处理方法:删除AUTO_INCREMENT。处理方法:改用 TIMESTAMP(3)问题1:Encountered “(”原因:方向搞反了,插入表应该是目标表。处理方法:删去DEFAULT。(2)重启flink。 阅读详情

一、 方案描述

1.1 概述

在线教育是一种利用大数据、人工智能等新型互联网技术与传统教育行业相结合的新型教育方式。发展在线教育可以更好地构建网络化、数字化、个性化、终生化的教育体系,有利于构建“人人皆学、处处能学、实时可学”的学习型社会。

本文针对某知名在线教育平台在腾讯云流计算 Oceanus 的业务案例,介绍了其中可能存在的一些性能问题,并针对这种问题进行了参数调优相关的介绍。

1.2 方案架构

某知名在线教育平台在流量计算 Oceanus 上面主要有两个业务应用场景,其一:单表同步,使用 MySQL CDC 将 MySQL 数据取出存入 Elasticsearch;其二:双流 JOIN,两条 MySQL CDC 流 JOIN 后存入 Elasticsearch。本文主要针对这两种场景进行了一些实践,并指出可能存在的特殊场景以及参数调优思路。

涉及产品列表:

  • 腾讯云流计算 Oceanus
  • 腾讯云 MySQL 数据库
  • 腾讯云 Elasticsearch

二、前置准备

2.1 创建私有网络 VPC

私有网络(VPC)是一块您在腾讯云上自定义的逻辑隔离网络空间,在构建 Oceanus、CKafka、COS、ClickHouse 集群等服务时选择的网络建议选择同一个 VPC,网络才能互通,否则需要使用对等连接、NAT 网关、VPN 等方式打通网络。私有网络 VPC 创建步骤请参考 帮助文档 。

2.2 创建流计算 Oceanus 集群

流计算 Oceanus 是大数据产品生态体系的实时化分析利器,是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标,加速企业实时数字化的建设进程。

进入 Oceanus 控制台 ,点击左侧【计算资源】,单击左上角【新建集群】页面创建集群,选择地域、可用区、VPC、日志、存储,设置初始密码等,VPC 及子网使用刚刚创建好的网络。创建完后 Oceanus 的集群如下:

2.3 创建云数据库 MySQL

云数据库 MySQL(TencentDB for MySQL)是腾讯云基于开源数据库 MySQL 专业打造的高性能分布式数据存储服务,让用户能够在云中更轻松地设置、操作和扩展关系数据库。

  1. 登录 云数据库 TencentDB 控制台,单击【新建】,新建 MySQL 服务。注意网络选择需为上文创建的网络。
  2. 创建完 MySQL 服务后,点击进入 MySQL 实例,单击上方【数据库管理】>【参数设置】,确保 binlog_format = ROW 以及 binlog_row_image = FULL 。

  1. 检查完参数后,单击右上角【登录】进入数据库,创建数据库和表用户接收数据。

2.4 创建 Elasticsearch 实例

腾讯云 Elasticsearch Service(ES)是基于开源引擎打造的云端全托管 ELK 服务,集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优势能力,引入极致性价比的腾讯自研星星海服务器。助您轻松管理和运维集群,高效构建日志分析、运维监控、信息检索、数据分析等业务。

进入 Elasticsearch Service 控制台 ,单击左侧【Elasticsearch 集群】,点击左上角【新建】,注意选择之前创建好的私有网络和子网,并设置账户和密码,具体操作请参考 帮助文档 。

三、场景一:单表同步

本场景使用 MySQL CDC 将数据从云数据库 MySQL 中取出后存入 ES,中间并无复杂的业务逻辑的计算。

3.1 Source 端参数配置

-- Source 端配置,从云数据库 MySQL 读取数据

 'connector' = 'mysql-cdc',      -- 固定值 'mysql-cdc'

 'hostname' = 'xx.xx.xx.xx',     -- 数据库的 IP

 'port' = '3306',                -- 数据库的访问端口

 'username' = 'root',            -- 数据库访问的用户名(需要提供 SHOW DATABASES、REPLICATION SLAVE、REPLICATION CLIENT、SELECT 和 RELOAD 权限)

 'password' = 'xxxxxxxxxxxxxx',  -- 数据库访问的密码

 'database-name' = 'xxxx',       -- 需要同步的数据库

 'table-name' = 'xxxx'           -- 需要同步的数据表名

Source 端着重要参数或可选参数说明

  • scan.incremental.snapshot.enabled: 增量快照。开启此参数必须保证 MySQL 表有主键,开启此配置后可以开启多维度读取 MySQL 数据,相对应的还需调大【作业参数】里面的【算子默认并行度】,并配置 server-id 为一个范围,例如 5100-5110,则可以开启 10 并行度同时读取 MySQL 表的数据。此参数默认开启。
  • server-id: server-id在任务启动时会注册到 MySQL 服务端,相同 MySQL 实例内不允许 server-id 重复,因此不同任务里配置的 CREATE TABLE 不管表是相同还是不同,都必须要有不同的 server-id,server-id 建议配置一个范围,例如 5100-5110,这个范围可以支持任务扩展到 10 个并发。
  • server-time-zone: 例如 Asia/Shanghai ,该参数控制了 MySQL 中的 TIMESTAMP 类型如何转成 STRING 类型。
  • debezium.database.history.store.only.monitored.tables.ddl: 如果 MySQL 实例表非常多并且经常发生 schema 变更,那么增加这个配置项可以减少状态大小,注意正则模糊匹配表的场景不要使用这个配置项。

特殊场景优化

  1. 如果MySQL CDC 同步的表数量较大(千万或亿级),建议: (1) 增加全量同步时的并发度,亿级推荐 10 以上。 (2) 需要设置 scan.incremental.snapshot.chunk.size 到更大的值,例如 1 亿数据量推荐设置为 30000。
  2. 如果使用正则模糊匹配多表时,建议增加 JobManager 的 CU 数到 2CU。

3.2 Sink 端参数配置

-- Sink 端配置,将数据写入 ES

 'connector' = 'elasticsearch-7',        -- 输出到 Elasticsearch 7

 'username' = 'elastic',                 -- 选填 用户名

 'password' = 'xxxxxxxx',                -- 选填 密码

 'hosts' = 'http://xx.xx.xx.xx:9200',    -- Elasticsearch 的连接地址

 'index' = 'xxxxxxxx',                   -- Elasticsearch 的 Index 名

 'document-id.key-delimiter' = '$',      -- 可选参数, 复合主键的连接字符 (默认是 _ 符号, 例如 key1_key2_key3)

 'failure-handler' = 'ignore',           -- 可选的错误处理。可选择 'fail' (抛出异常)、'ignore'(忽略任何错误)、'retry-rejected'(重试)

 'sink.flush-on-checkpoint' = 'true',    -- 可选参数, 快照时不允许批量写入(flush), 默认为 true

 'sink.bulk-flush.max-actions' = '42',   -- 可选参数, 每批次最多的条数

 'sink.bulk-flush.max-size' = '42 mb',   -- 可选参数, 每批次的累计最大大小 (只支持 mb)

 'sink.bulk-flush.interval' = '1000',    -- 可选参数, 批量写入的间隔 (ms)

 'connection.max-retry-timeout' = '300', -- 每次请求的最大超时时间 (ms)

 'format' = 'json'                       -- 输出数据格式, 目前只支持 'json'

Sink 端重要参数或可选参数说明

  • sink.flush-on-checkpoint: Flink 进行快照时,是否等待现有记录完全写入 Elasticsearch 。如果设置为 false ,则可能造成恢复时部分数据丢失或者重复等异常情况,但快照速度会提升。默认为 true 。
  • sink.bulk-flush.max-actions: 批量写入的最大条数。设置为 0 则禁用批量功能。默认为 1000 。
  • sink.bulk-flush.max-size: 批量写入缓存的最大容量,必须以 mb 为单位。设置为 0 则禁用批量功能。默认为 2mb 。
  • sink.bulk-flush.interval: 批量写入的刷新周期。设置为 0 则禁用批量功能。默认为 1s 。

性能测试 Source 端数据读取量大导致 Sink 端写入繁忙,从而引起反压问题导致作业不断重启,建议:适当调整
sink.bulk-flush.max-actions 、 sink.bulk-flush.max-size 和 sink.bulk-flush.interval 这三个参数的值。默认情况下:

sink.bulk-flush.max-actions = 1000

sink.bulk-flush.max-size = 2mb

sink.bulk-flush.interval = 1000ms

针对 MySQL CDC 单表写入到 ES 这种场景,我们对 sink.bulk-flush.interval 参数做了简单的性能测试,包括吞吐量和写入 ES 延时。用户可以参考这些数据,根据自己实际业务情况做相应的调参。

测试条件:

  • Elasticsearch:16核64G, 3个20GB SSD云硬盘 x 1
  • MySQL 版本:MySQL 5.7
  • 数据流入量级:每秒 40000 条
  • 作业中的参数 sink.bulk-flush.max-actions 和 sink.bulk-flush.max-size 保持默认值

测试结果:

并行度为 1:

并行度为 4:

结论:

  • sink.bulk-flush.max-actions 的默认值是 1000 条, sink.bulk-flush.max-size 的默认值是 2mb , sink.bulk-flush.interval 默认 1s ,这三个满足满足任意一条即触发 ES 写操作。
  • 如果作业流量比较大, sink.bulk-flush.max-actions 或者 sink.bulk-flush.max-size 会优先触发,此时调大 sink.bulk-flush.interval 的值,对写入 ES 的吞吐和延迟几乎没有影响。
  • 如果作业流量比较小, sink.bulk-flush.interval 会优先触发,此时 sink.bulk-flush.interval 的大小会影响写入 ES 的延迟。
  • ES 的 refresh interval 参数影响数据在 ES 集群中可以查询的时延,比如 Kibana 可以查看到数据的时延在 0~sink.bulk-flush.interval(如果bulk-flush优先触发)+ ES refresh interval 区间。
  • sink.bulk-flush.interval 不建议小于 500ms 。
  • 单并行度的时候,通过调节参数,对 ES 的吞吐量不再有影响的时候,增大作业的并行度后,ES 的吞吐有明显的提升。

建议:

  • sink.bulk-flush.max-actions 和 sink.bulk-flush.max-size 通常保持默认值即可,这两个条件满足其一,数据就会提交写入请求。
  • sink.bulk-flush.interval :定时提交数据的间隔,设置太小,ES 的吞吐量会变小,建议改值不小于 500ms 。
  • sink.bulk-flush.max-actions = 1 该设置表示每来一条数据就立即写入 ES,这会导致整个作业的吞吐降低,以本次的测试场景,吞吐最高只能到达 400条/秒,同时写入 ES 的平均延迟会增大到 1.5s,不建议该值设置太小。
  • 当作业中的参数对吞吐的影响极小的时候,可以通过增大作业的并行度来提高写入 ES 的吞吐。
  • 当并行度提高到一定的程度的时候,ES 的吞吐不再有变,此时可以检查一下 ES 的的写入性能。

四、场景二:双流 JOIN

这里总结一下双流 JOIN 常见的问题以及优化点。

SET 语句

  1. (一定要提前设置,避免状态不兼容导致无法恢复)如果存在多流 JOIN 或 GROUP BY,需要设置 SQL 状态保留时间(TTL),例如 : SET execution.min-idle-state-retention = '5 h' SET execution.max-idle-state-retention = '6 h'
  2. 如果快照时间较久(例如上述 JOIN 场景),需要调大快照过期时间到至少 30 min,例如: SET CHECKPOINT_TIMEOUT = '30 min'
  3. 建议启用 Mini-Batch 功能以获取更好的性能(可能会导致较大延迟,请谨慎设置): SET table.exec.mini-batch.enabled = true SET table.exec.mini-batch.size = 5000 SET table.exec.mini-batch.allow-latency = 200 ms

高级参数

  1. 如果作业快照较大,建议延长快照周期为至少 30 min
  2. 设置增量快照: state.backend.incremental: true
  3. 建议调大作业重启阈值: restart-strategy.fixed-delay.attempts: 10000
  4. 建议调大快照失败的容忍次数: execution.checkpointing.tolerable-failed-checkpoints: 5
  5. 如果事件面板经常出现 TaskManager 异常退出事件,且错误信息包含 OOMKilled,则可以尝试设置如下参数,且提高 TaskManager 的规格为 2CU 或提升并行度: taskmanager.memory.jvm-overhead.fraction: 0.3 。

总结

本文分析了某知名在线教育平台在流计算 Oceanus 上的两种业务场景:MySQL 单表同步到 Elasticsearch;两条 MySQL CDC 流 Regular JOIN。此外,本文还对两种场景的一些重要参数或可选参数进行了讲解,并对可能存在的特殊场景提供了参数调优思路。更多 Oceanus 最佳实践以及入门指引参见我们的 专栏文章 ,最后欢迎大家猛戳 一元购 试用 Oceanus,机不可失时不再来:)

flink-cdc 同步mysql数据到ES时间格式问题。 flink-cdc 同步mysql数据到ES,时间格式的处理非常蛋疼的一件事。 首先ES的标准时间格式是yyyy-MM-ddTHH:mm:ss.SSSZ时间精度是毫秒也就是TABLE中对应的TIMESTAMP_LTZ(3), 阅读详情

相关推荐

FlinkCDC实战:将 MySQL 数据同步至 ES

CDC (Change Data Capture) 是 变更数据获取的简称。核心思想是监测并捕获数据库的变动(数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整地记录下来,写入到消息中间件中以供其他服务进行订阅并消费。Flink 社区开发了 flink-cdc-connectors 组件,这个一个可以直接从 MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据的source 组件。

m0_74823094的博客 804

MySQL CDC技术方案梳理

本篇主要探讨MySQL数据同步的各类常见技术方案及优劣势对比分析,从而更加深层次的理解方案,进而在后续的实际业务中,更好的选择方案。

Martian 6034

Flink系列之:Flink CDC深入了解MySQL CDC连接器

Flink系列之:Flink CDC深入了解MySQL CDC连接器

zhengzaifeidelushang的博客 1万+

MySQL CDC

MySQL CDC

ronshi的博客 1648

Flink MySQL CDC 使用总结

学习总结Flink MySQL CDC,主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等,本文主要以 MySQL2Hudi、MySQL2MySQL两个场景进行示例验证。

主要分享大数据相关的知识,如Spark、Hudi 4187

【大数据】Flink CDC 实时同步mysql数据

Flink CDC 实时同步mysql数据

congge 1万+

实战:大数据Flink CDC同步Mysql数据到ElasticSearch

CDC 的全称是 Change Data Capture(变更数据捕获技术) ,在广义的概念上,只要是能捕获数据变更的技术,我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更,是一种用于捕获数据库中数据变更的技术。

勤于笔记,成于点滴。 6512

【实战ES】实战 Elasticsearch:快速上手与深度实践-7.1.2Flink CDC同步MySQL数据

【实战ES】实战 Elasticsearch:快速上手与深度实践-7.1.2Flink CDC同步MySQL数据

kngines 1515

Flink CDC MySQL同步到Elasticsearch

本文介绍了使用Flink CDC实现MySQL到Elasticsearch实时数据同步的方法。通过Flink SQL方式搭建,采用Flink 1.20.3版本,配合MySQL 8.0+和Elasticsearch 7.9.3环境。详细说明了软件安装配置、Jar包准备、Flink集群启动步骤,并提供了完整的SQL同步脚本示例。文章重点讲解了Flink CDC的两种同步方式,以及scan.startup.mode参数的不同取值含义,展示了从MySQL表t_user到ES索引index_user的全量+增量数据同

愤怒的苹果ext的博客 1575

flink-cdc实时增量同步mysql数据到elasticsearch

CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。

大数据技术派 2793

Simulink机电仿真避坑指南:如何用MATLAB解决液压系统建模的3大典型问题

本文针对液压系统建模在Simulink动态仿真中常见的三大难题——参数物理意义缺失、模型收敛性差及性能优化瓶颈,提供了专业的MATLAB解决方案。文章详细阐述了如何从物理参数推导仿真模型、破解代数环与刚性系统问题,并分享了模型降阶与加速技巧,旨在帮助工程师构建精确高效的机电系统仿真模型。

o9p0q1的博客 295

基于Flink CDC实现ElasticSearch同步MySQL环境搭建笔记

实现将不同MySQL Schema实时同步至同一数据源以供其他数据分析应用作为数据源调用。 搭建范围包括:供数据分析应用调用的数据源搭建以及MySQL数据同步

zhzhouzero的博客 1841

保姆级教程:用Anaconda+PyCharm搞定YOLOv8本地部署(附避坑指南)

本文提供了一份详细的YOLOv8本地部署指南,涵盖Anaconda环境配置、PyCharm集成到模型部署的全过程。特别针对国内开发者需求,整合了镜像加速和常见报错解决方案,帮助快速完成目标检测模型的本地部署与实战应用。

weixin_42528090的博客 433

60、Flink CDC 入门介绍及Streaming ELT示例(同步Mysql数据库数据到Elasticsearch)-完整版

本文介绍的CDC是基于2.4版本,当前版本已经发布至3.0,本Flink 专栏介绍是基于Flink 1.17版本,CDC 2.4版本支持到1.17版本。Apache Flink®的CDC连接器是用于Apache Flnk®的一组源连接器,使用更改数据捕获(CDC)接收来自不同数据库的更改。Apache Flink®的CDC连接器将Debezium集成为捕获数据更改的引擎。因此,它可以充分利用Debezium的能力。了解更多关于Debezium的信息。

alanchanchn的专栏 7万+

【AI就业干货12】机器学习八股文速通:从损失函数到 XGBoost,一篇带走全部面试点

本文总结了机器学习面试的核心知识点,涵盖监督与非监督学习、线性模型、正则化、决策树、KNN/K-means、SVM、集成学习、梯度下降、评估指标、特征工程、降维、概率模型等内容。重点包括:损失函数选择(MSE/交叉熵)、正则化作用(L1稀疏/L2平滑)、决策树划分准则、集成学习方法(Bagging降方差/Boosting降偏差)、XGBoost优化等。提供了30秒速记口诀和XGBoost代码示例,帮助快速掌握面试要点。全文采用公式+代码+口诀的形式,系统梳理了机器学习从理论到实践的常见考点。

m0_51738372的博客 731

MinerU PDF解析工具:从安装配置到本地部署与API调用的全流程指南

MinerU是由上海人工智能实验室开源的高质量PDF解析工具,可将包含图片、公式、表格的复杂PDF转换为Markdown和JSON格式。安装前需准备Python 3.10-3.13环境,推荐使用8核CPU和32GB内存。支持通过HuggingFace或ModelScope下载模型,国内用户建议使用ModelScope源加速下载。配置文件中可设置本地模型路径,支持多种语言识别和两种解析后端(Pipeline和VLM)。输出包含可视化文件、内容文件和中间结果文件,并提供了完整的Python API调用示例。

算法工程师 2031

Flink CDC 用 PolarDB-X CDC 实时同步数据到 Elasticsearch

本文介绍了如何搭建基于Flink CDC、PolarDB-X和Elasticsearch的数据同步系统。主要内容包括:1)使用Docker Compose部署PolarDB-X、Elasticsearch和Kibana环境;2)准备Flink 1.18.0运行环境及CDC连接器;3)在PolarDB-X中创建商品表和订单表;4)启动Flink集群并配置CDC源表;5)创建Elasticsearch Sink表实现订单与商品信息的宽表同步。系统通过Flink CDC实时捕获PolarDB-X的变更数据,并将处

hello.reader 5392

Windows Server 2016远程桌面服务配置和授权激活

Server 2016默认远程桌面连接数是2个用户,如果多余两个用户进行远程桌面连接时,系统就会提示超过连接数,可以通过添加远程桌面授权解决:1、添加远程桌面授权服务第一步:服务器管理 - 添加角色和功能打开添加角色和功能向导窗口,选择基于角色或给予功能安装:第二步:添加远程桌面会话主机和远程桌面授权功能:以上配置完成后即可使用多于2用户同时登陆,但使用期限为120天,再次登陆会有如下提示:2、添...

mahailiang的专栏 6万+

基于Flink CDC实时同步数据(MySQL到MySQL)

Flink FlinkCDC 实时ETL

2万+

【100%通过率】华为od机试C卷【贪吃的猴子】Java&Go 实现

一只贪吃的猴子,来到一个果园,发现许多串香蕉排成一行,每串香蕉上有若干根香蕉。每串香蕉的根数由数组numbers给出。猴子获取香蕉,每次都只能从行的开头或者未尾获取,并且只能获取N次,求猴子最多能获取多少根香蕉。第一次获取香蕉为行的开头,第二次获取为行的末尾,因此最终根数为4+3 =7。全部获取所有的香蕉,因此最终根数为1+2+3 = 6。第二行为数组numbers的值每个数字通过空格分开。1:简单题目,两个指针分别指向头尾,逐个对比即可。第一行为数组numbers的长度。第三行输入为N,表示获取的次数。

MISAYAONE的博客 1439

Oracle 11g安装教程(保姆级超详细安装教程)

Oracle详细安装步骤,每一步都配有图例引导 ORACLE是数据库(Oracle服务端)。是连接数据库的客户端(Oracle客户端)。是连接oracle的可视化客户端软件。

2302_81846649的博客 1万+

‌Flink CDC极简指南:MySQL到Elasticsearch实时同步全解析

通过本指南,您已掌握使用Flink CDC实现MySQL到Elasticsearch实时同步的核心方法。整个过程高效、可靠,适用于生产环境。关键优势包括毫秒级延迟、exactly-once语义(通过Flink检查点保证)。建议参考Flink官方文档深化理解,并根据业务需求调整数据处理逻辑。遇到问题,欢迎在社区论坛寻求支持!

2501_93894124的博客 1390

基于YOLOv26的护栏损坏检测系统原理讲解

本文介绍了一种基于YOLOv26深度学习的护栏损坏检测系统。该系统通过车载摄像头或固定监控采集道路护栏图像,利用改进的YOLOv26算法实现高效准确的损坏检测。系统采用分层架构设计,包含数据采集、检测处理、分析评估和应用服务四个层次,能够自动识别变形、断裂、缺失等五种常见损坏类型,并评估损坏严重程度。相比传统人工检测方法,该系统大幅提高了检测效率和准确性,降低了人工成本和安全风险。关键技术包括多尺度特征融合、注意力机制和自适应非极大值抑制等创新设计,使系统在复杂道路环境下仍能保持稳定的检测性能。

一键难忘的博客 332
上一篇: Java:NetBeans 14、Spring Tool Suite 3 支持接近尾声、Hibernate 6.1
下一篇: 【无标题】
程序员职业指南
博客等级 码龄4年 2140粉丝 960原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值