MySQL数据实时同步到Elasticsearch的高效解决方案

数据库:MySQL、HBase、ElasticSearch三者对比 1、概念介绍MySQL:关系型数据库,主要面向OLTP,支持事务,支持二级索引,支持sql,支持主从、Group Replication架构模型(本文全部以Innodb为例,不涉及别的存储... 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

d714ab6e3dfdffac5a427458b8f23eff.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、ERP、CRM、AI 大模型等等功能:

  • Boot 多模块架构:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 微服务架构:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 17/21 + SpringBoot 3.3、JDK 8/11 + Spring Boot 2.7 双版本 

来源:blog.youkuaiyun.com/2401_87878486
/article/details/142955546


概述

在实际的项目开发与运维过程中,MySQL 常常扮演着业务数据库的核心角色,以其强大的事务处理能力和数据完整性保障,支撑着系统的稳定运行。然而,随着数据量的急剧增长和查询复杂度的不断提升,单一依赖 MySQL 进行高效的数据检索显得日益吃力,尤其是在面对海量数据的复杂查询场景时,性能瓶颈愈发凸显。

为了有效缓解这一挑战,我们通常采用读写分离的策略,将 Elasticsearch(简称 ES)引入作为专门的查询数据库。ES 以其卓越的搜索性能、灵活的数据模式以及强大的可扩展性,成为处理复杂查询需求的理想选择。通过 ES,我们可以实现数据的快速检索与分析,从而大幅提升用户体验和系统响应速度。

在这一过程中,确保 MySQL 数据库与 ES 之间的数据同步成为了至关重要的一环。数据同步不仅关乎数据的实时性和准确性,更是保障系统稳定性和用户体验的基石。因此,我们需要精心设计与实施一套高效、可靠的数据同步方案。

具体而言,数据同步的实现方式多种多样,包括但不限于使用 Logstash、Kafka Connect、Debezium 等工具进行实时数据捕获与传输,或通过定时任务(如 Cron Job)结合 SQL 查询与批量导入的方式实现数据的定期同步。在选择同步方案时,我们需要综合考虑数据的实时性要求、系统架构的复杂度、运维成本以及数据的增量更新特性等因素。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

同步方案

1. 同步双写

同步双写是一种数据同步策略,它指的是在主数据库(如MySQL)上进行数据修改操作时,同时将这些修改同步写入到ES中。这种策略旨在确保两个数据库之间的数据一致性,并优化系统的读写性能。

0121d6ce40c4284934e2a7d8345b2058.png
目标

同步双写是指在进行数据写入操作时,同时向两个或多个数据库写入相同的数据。在MySQL与ES的同步场景中,其主要目的是将MySQL中的业务数据实时同步到ES中,以便利用ES的高效查询能力来应对复杂的查询需求,同时减轻MySQL的查询压力。

实现方式

直接同步

在业务代码中,每次对MySQL数据库进行写入操作时,同时执行对ES的写入操作。这种方式简单直接,但可能增加代码的复杂性和出错的风险。

使用中间件

利用消息队列(如Kafka)、数据变更捕获工具(如Debezium)或ETL工具(如Logstash)等中间件来捕获MySQL的数据变更事件,并将这些事件转发到ES进行同步。这种方式可以解耦业务代码与数据同步逻辑,提高系统的可扩展性和可维护性。

触发器与存储过程

在MySQL中设置触发器或编写存储过程,在数据发生变更时自动触发ES的写入操作。这种方式可以减少业务代码的侵入性,但可能会增加MySQL的负担并影响性能。

优缺点
  • 优点

    • 业务逻辑编写简单

    • 业务查询实时性高

  • 缺点

    • 业务硬编码,有需要写入 MySQL 的地方都需要添加写入 ES 的代码

    • 业务代码强耦合度很高

    • 存在双写失败丢数据风险

    • 双写性能较差,本来 MySQL 的性能不是很高,再加一个 ES,系统的性能必然会下降

应用场景

同步双写策略适用于对数据一致性要求较高且需要优化查询性能的场景。例如,在电商系统中,可以将商品信息、订单数据等存储在MySQL中,同时将这些数据同步到ES中以支持复杂的搜索和分析需求。

2. 异步双写

异步双写也是一种数据同步策略,它允许在主数据库(如MySQL)进行数据修改操作时,异步地将这些修改写入到多个数据源(如ES)中。与同步双写相比,异步双写具有降低主数据库写入延迟、提高系统性能以及避免因备库问题而影响主库性能等优点。

5f3fb1b5b8396c8cc985f3c9e3eba976.png
优缺点
  • 优点

    • 提高系统可用性:即使备库出现问题,也不会影响主库的正常运行和数据写入

    • 降低主库写入延迟:由于不需要等待备库确认,主库可以更快地完成写入操作,从而提高系统的整体性能

    • 多数据源同步:多源写入之间相互隔离,便于扩展更多的数据源写入

  • 缺点

    • 硬编码问题:接入新的数据源需要实现新的消费者代码

    • 系统复杂度增加:需要额外引入了消息中间件

    • 实时性较低:由于MQ是异步消费模型,用户写入的数据不一定可以马上看到,消息挤压等会造成延时

    • 数据一致性风险:由于存在异步处理的时间差,可能会出现主库和备库之间数据暂时不一致的情况。因此,需要采取适当的措施来确保数据的最终一致性。

应用场景

异步双写适用于对数据一致性要求不是特别高但对系统性能要求较高的场景。例如,在电商平台中,可以将用户订单信息、商品库存等关键数据实时同步到主数据库中,同时将一些非关键数据(如用户浏览记录、商品点击量等)异步地同步到备数据库中用于数据分析。这样可以在保证关键数据一致性的同时提高系统的整体性能。

3. Logstash同步

Logstash 是一个开源的服务器端数据处理管道,可以同时从多个来源采集数据,转换数据,然后将数据发送到您指定的存储库中。在实现 MySQL 数据库和 Elasticsearch 之间的数据同步时,Logstash 可以发挥重要作用。

ce803c4e4a3b806de457a72b7567a95c.png
优缺点
  • 优点

    • 不改变原代码,没有侵入性、没有硬编码

    • 没有业务强耦合,不改变原来程序的性能

  • 缺点

    • 时效性较差,由于是采用定时器根据固定频率查询表来同步数据,尽管将同步周期设置到秒级,也还是会存在一定时间的延迟

    • 对数据库有一定的轮询压力,一种改进方法是将轮询放到压力不大的从库上

    • 无法实现同步删除,需要在Elasticsearch中执行相关命令手动删除

    • Elasticsearch中的_id字段必须与MySQL中的id字段相同

4. Binlog 实时同步

Binlog实时同步是一种数据库同步技术,主要用于实时捕获并同步数据库中的变更数据。

免翻官方ChatGPT 4.0 和 Claude Pro,稳定有售后

09c65d5f1d12553ac348a04ba6da8279.png

Binlog(Binary Log)是MySQL等数据库的一种二进制日志,它记录了数据库中所有更改数据的SQL语句信息,但不包括查询操作。这些变更包括数据的插入、更新、删除等。Binlog主要用于数据库的主从复制和数据恢复。

同步原理

Binlog实时同步的原理基于数据库的复制机制。当数据库发生变更时,这些变更会被写入到Binlog中。同步工具(如Canal、Maxwell等)会监听Binlog的变动,实时捕获这些变更数据,并将其同步到其他数据库或存储系统中。

优缺点
  • 优点

    • 实时性 :能够实时捕获和同步数据库的变更数据

    • 一致性 :确保源数据库和目标数据库之间数据的一致性

    • 灵活性 :支持多种数据库和存储系统之间的同步

    • 可扩展性 :可以根据业务需求进行扩展和定制

    • 没有代码侵入、没有硬编码,原有系统不需要任何变化,没有感知

  • 缺点

    • 配置和维护同步工具可能具有一定的复杂性

    • 在高并发场景下,Binlog的写入和同步可能会对数据库性能产生一定影响

    • 同步工具依赖于数据库的Binlog功能,如果数据库版本或配置发生变化,可能需要重新配置同步工具

5. Canal数据同步

Canal是阿里巴巴集团提供的一个开源产品,能够通过解析数据库的增量日志,提供增量数据的订阅和消费功能。Canal的功能原理及详细说明请参见Canal。使用Canal模拟成MySQL的Slave,实时接收MySQL的增量数据binlog,然后通过RESTful API将数据写入到阿里云ES实例或ES Serverless应用中,适用于对数据同步的实时性要求较高的场景。

同步原理

Canal 原理就是伪装成 MySQL 的从节点,从而订阅 master 节点的 Binlog 日志。通过订阅binlog的方式实现数据实时同步,在不影响源数据库的情况下,同步延迟可降至毫秒级别。

f04e4fd8fe7a16d504040c60fdd1b0bd.png
同步流程
  1. Canal 服务端向 MySQL 的 master 节点传输 dump 协议

  2. MySQL 的 master 节点接收到 dump 请求后推送 binlog 日志给 Canal 服务端,解析 binlog 对象(原始为byte流)转成 Json 格式

  3. Canal 客户端通过 TCP 协议或 MQ 形式监听 Canal 服务端,同步数据到ES

执行核心流程
cdf90b88eefac3c76c469aabcfb5a157.png
  • canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议

  • mysql master收到dump请求,开始推送binary log给slave(也就是canal)

  • canal解析binary log对象(原始为byte流)

6. 阿里云 DTS

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建安全、可扩展、高可用的数据架构。

相对于传统数据迁移或同步工具,DTS为您提供功能更丰富、传输性能更强、易用性更高且安全可靠的服务,帮助您简化复杂的数据交互工作,专注于上层的业务开发。

系统架构
6df9f4c12881d0664633e09455d5633c.png
架构特性

系统高可用 数据传输服务内部每个模块都有主备架构,保证系统高可用。容灾系统实时检测每个节点的健康状况,一旦发现某个节点异常,会将链路快速切换到其他节点。

数据源地址动态适配 对于数据订阅及同步链路,容灾系统还会监测数据源的连接地址切换等变更操作,一旦发现数据源发生连接地址变更,它会动态适配数据源新的连接方式,在数据源变更的情况下,保证链路的稳定性。

数据同步的工作原理
7bd1af417100f3e5ab400a0781b25209.png

DTS可以在两个数据源之间同步正在进行的数据变更。数据同步通常用于OLTP到OLAP的数据传输。数据同步包括以下两个阶段:

  • 同步初始化 :DTS先开始收集增量数据,然后将源数据库的结构和存量数据加载到目标数据库。

  • 数据实时同步 :DTS同步正在进行的数据变更,并保持源数据库和目标数据库的同步。

DTS Serverless

DTS Serverless实例是数据传输服务DTS(Data Transmission Service)提供的资源规格可以弹性变化的实例。Serverless实例可以适应不断变化的业务需求,使实例资源能够随业务规模的变化自动调整,从而避免资源浪费和控制运维成本。

Serverless是一种动态计费方式,能够根据实例负载情况以分钟级别的动态调整资源,并实时计费(每小时生成一个收费订单),您仅需要为实际用量付费,从而节省大量成本。使用Serverless计费方式购买的实例,被称为Serverless实例。

Serverless实例会根据RPS(Records Per Second)、CPU、内存利用率、网络等因素动态调整资源规格,调整的资源规格以DU(DTS Unit)数体现。在DU数调整后的60秒,系统会检测当前资源规格是否满足负载需求。

在数据传输量波动较大的场景下,普通实例和Serverless实例资源使用和规格变化情况如下图所示:

f4f90b2e3150aa5ca594f4e972e293dd.png

由上图可以看到,在业务波动较大的场景下:

  • 普通实例:在波谷期浪费的资源较多,在高峰期资源不足,业务受损。

  • Serverless实例:实例的资源规格随负载需求动态调整,在波谷期和高峰期都能完全满足业务需求,保证业务不受损。


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

4040087bd6a477ca48cb420775a0f623.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

d4976b2cb4ce636a2b9cc3f54a0fb0da.png

804405fec0ffb92472e1a839818db2de.png5d6f1249d720ff82998a50e4fa47c1fd.pnge504a616b20bd31364c2d761c8d5fad9.pngcf637df0a216d95d94f180cb4e94c38a.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
VMware ESXi 7.0下Intel网卡SR-IOV配置实战:解决虚拟化网络延迟问题 本文详细介绍了在VMware ESXi 7.0环境下为Intel网卡配置SR-IOV(单根I/O虚拟化)的完整实战流程。通过硬件辅助直通技术,虚拟机可直接访问物理网卡资源,有效绕过虚拟化层瓶颈,从而显著降低网络延迟和CPU开销,适用于金融交易、实时计算等对性能敏感的场景。 阅读详情

相关推荐

LabVIEW电压信号采集系统:从零搭建到科研实战

本文详细介绍了如何从零开始搭建一个基于LabVIEW的电压信号采集系统。内容涵盖硬件选型(如NI USB-6002数据采集卡)、软件环境配置、核心程序开发(包括多通道同步采集、数据自动保存)以及高级功能优化。系统支持自定义采样率与时长,并提供了完整的LabVIEW程序框图和配套的Python数据分析脚本,旨在帮助科研人员和工程师快速构建稳定、高效的专属数据采集方案,提升实验自动化水平。

gold8的专栏 463

技术分析 | 浅析MySQL与ElasticSearch的组合使用

*GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源。1. 导入2. ElasticSearch入门2.1. ElasticSearch介绍2.2. ElasticSearch的安装2.3. ElasticSearch概念入门2.4. ElasticSearch简单操作2.5. MySQL与ElasticSearch的实际应用3. 小结1. 导入假设有一业务场景:现有一电...

老叶茶馆 2530

Modbus 通信协议详解

Modbus是由 Modicon(现为施耐德电气公司的一个品牌)在 1979 年发明的,是全球第一个真正用于工业现场的总线协议。ModBus网络是一个工业通信系统,由带智能终端的可编程序控制器和计算机通过公用线路或局部专用线路连接而成。其系统结构既包括硬件、亦包括软件。它可应用于各种数据采集和过程监控。为更好地普及和推动Modbus在基于以太网上的分布式应用,目前施耐德公司已将Modbus协议的所有权移交给 IDA(,分布式自动化接口)组织,并成立了 Modbus-IDA 组织。

Projectsauron 的博客 7万+

elasticsearch结合mysql使用

elasticsearch-MySQL 1.系统原理 要通过elasticsearch实现数据检索,首先要将数据导入elasticsearch,并实现数据源与elasticsearch数据同步.这里使用的数据源是Mysql数据库.目前mysql与elasticsearch常用的同步机制大多是基于插件实现的,常用的插件包括:logstash-input-jdbc,go-mysql-elasticsearch, elasticsearch-jdbc。 系统原理: Elasticsearch:一个基于Luc

Baron0071的博客 7692

【复现论文】Looking here or there? Gaze Following in 360-Degree Images

论文:Looking here or there?

RichardoMu的博客 1131

FPGA中的CMAC硬核与Interlaken硬核

CMAC硬核和Interlaken硬核是FPGA中两种重要的内置功能模块,它们分别在CNN推理和高带宽芯片到芯片接口方面发挥着关键作用。FPGA(Field Programmable Gate Array,现场可编程逻辑门阵列)中的CMAC硬核与Interlaken硬核是两种重要的内置功能模块,它们在FPGA设计中扮演着关键角色。需要注意的是,FPGA设计中的硬核选择不仅取决于硬核本身的性能,还需要考虑硬核与FPGA芯片其他部分的兼容性、功耗、成本等因素。Interlaken硬核。

weixin_41230430的博客 1486

详解MySQL到Elasticsearch的数据同步方案,助您实现实时分析与搜索

本文介绍下当前常见的场景之一:Mysql数据同步Elasticsearch的实现方案,这里以电商为例,其实所有相关搜索内容都可以使用此方案。对于搜索,应该是所有APP必备的基础功能,不同时期有不同的解决方案,本次重点讲解Elasticsearch。那么,对于运营系统将商品上架后,数据肯定是要写入DB的,这个DB我们直接假设为Mysql,那么,mysql中的数据是如何同步到Elasticsearch呢?这也是本文我们重点讨论的问题。

资料免费分享,点击名片 586

AD7920实战:从咪头到ADC的音频信号采集电路设计全解析(附电路图)

本文详细解析了基于AD7920 ADC芯片的音频信号采集电路设计全流程。从驻极体咪头的驱动、AD8542运放的两级增益与偏置设计,到关键的抗混叠滤波器配置,以及ADC接口的驱动缓冲与PCB布局要点,提供了完整的实战指南与电路图,帮助开发者实现高质量音频信号采集。

red88的博客 807

【大数据】MySQL与Elasticsearch的对比分析:如何选择适合的查询解决方案

MySQL和Elasticsearch作为两种广泛使用的数据库技术,它们各自具有独特的优势和适用场景。本文将通过对比两者在不同查询场景下的表现,帮助您在实际应用中做出更明智的选择。我们将从以下几个维度进行分析:全文检索、精确查询、复杂查询与聚合、大数据量处理、实时性、资源消耗等,并结合不同场景给出选择建议,帮助开发者在特定需求下做出最优决策。

人生苦短,睡觉要紧,睡醒再说 3931

【Bug已解决】codex: conversation context window exceeded / Token limit reached — CodeX CLI 上下文窗口超限解决方案

CodeX CLI 上下文窗口超限(context_length_exceeded)的解决方案,含开新会话、更大窗口模型、精简提示与限制工具输出。

博客 4188

YOLOv12改进前必看 - YAML模型配置文件详细解读(再也不用担心通道数不匹配) 附网络结构图

YOLOv12的模型配置文件在中,里面包含yolov12的以及的不同大小的模型,本文将详细介绍一下YOLOv12模型文件中各参数的含义。

Limiiiing的博客 3279

一套高效解决方案:MySQL数据实时同步到Elasticsearch

数据传输服务DTS(Data Transmission Service)是阿里云提供的实时数据流服务,支持关系型数据库(RDBMS)、非关系型的数据库(NoSQL)、数据多维分析(OLAP)等数据源间的数据交互,集数据同步、迁移、订阅、集成、加工于一体,助您构建安全、可扩展、高可用的数据架构。在MySQL与ES的同步场景中,其主要目的是将MySQL中的业务数据实时同步到ES中,以便利用ES的高效查询能力来应对复杂的查询需求,同时减轻MySQL的查询压力。Binlog实时同步的原理基于数据库的复制机制。

hello world! 180

Pytorch实用教程:super(MLP,self).__init__()和super().__init__()有什么区别?

在 Python 中,super()函数用于调用父类(超类)的方法。它的使用在继承关系中非常常见,特别是在初始化继承自父类的属性时。在 PyTorch 中,这通常见于初始化nn.Module类的子类。super()的两种调用方式有微妙的差别,但在 Python 3 中常常用来达到同样的目的。这种写法在 Python 2 中非常常见。这里,super()被调用时需要指定当前类名(MLP)和当前实例(self。

若北辰 1026

logstash-input-jdbc实现mysql 与elasticsearch实时同步深入详解

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34177064的博客 103

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

推荐文章:go-mysql-elasticsearch - 高效同步MySQL数据到Elasticsearch

**贡献与反馈**:如果你对项目感兴趣并希望贡献代码,可以通过邮件联系项目维护者(siddontang@gmail.com)。我们欢迎任何形式的反馈和建议,共同推动项目的发展。...

gitblog_00036的博客 410

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案介绍

02-基于Apache SeaTunnel的MySQL到Elasticsearch实时同步解决方案介绍 去发现同类优质开源项目:https://gitcode.com/ 在此资源文件中,我们将为您详细介绍如何使用 Apache SeaTunnel 实现从 MySQL 到 Elasticsearch 的实时同步。以下是该解决方案的核心内容: 解决方案概述 本解决方案利用 Apache SeaTunn...

gitblog_06776的博客 988

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

debezium mysql_Debezium实现MySQL到SQL SERVER高效实时同步

在线QQ客服:1922638专业的SQL Server、MySQL数据库同步软件来自Elasticsearch中文社区的问题——MySQL中表无唯一递增字段,也无唯一递增时间字段,该怎么使用logstash实现MySQL实时增量导数据到es中?logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式 同步数据。回到问题本身:如果库表里没有相关字段,该如何处理呢?...

weixin_33480732的博客 978

HoRain云--MySQL实时同步Elasticsearch全攻略

本文详细介绍了使用Canal实现MySQL到Elasticsearch实时数据同步的完整方案。内容涵盖:1)Canal核心原理,包括伪装MySQL从库、解析binlog、传递变更事件的流程;2)具体部署步骤,从MySQL配置、Canal-Server安装到Canal-Adapter配置;3)高级实践技巧,如MQ模式解耦、批量写入优化和数据一致性保障;4)与其他同步工具的对比及常见问题解答。文章提供了清晰的流程图和详细配置示例,帮助开发者快速搭建高效稳定的数据同步链路。

sinat_57153473的博客 669
上一篇: SpringBoot封装AI模块,快速实现智能化!
下一篇: 300 秒到 4 秒,如何将 MySQL 批量写入的耗时缩短 99%?
公众号-芋道源码
博客等级 码龄10年 1637粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值