数据异构的武器-BINLOG+MQ

最新推荐文章于 2025-05-14 09:45:10 发布
原创 最新推荐文章于 2025-05-14 09:45:10 发布 · 963 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#binlog #canel #数据异构

数据异构通过BINLOG和MQ等方式实现，如数据库镜像、实时备份和多级索引等场景。BINLOG订阅工具如Canal可保证数据一致性，而MQ方式简单但难保数据一致。Canal工作原理基于MySQL主从复制，伪装成slave获取并解析binlog。MQ方式则在业务逻辑中实现双写，但不保证跨资源事务。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、定义

何谓数据异构，上周交易部门商品的同事过来做分享，又看到这个词，他的PPT里面是 数据库异构。其实我们以前做的事情，也是可以成为数据异构。比如我们将DB里面的数据持久化到REDIS里面去，就是一种数据异构的方式。如果要下个定义的话：把数据按需（数据结构、存取方式、存取形式）异地构建存储。

2、常见应用场景

分库分表中有一个最为常见的场景，为了提升数据库的查询能力，我们都会对数据库做分库分表操作。比如订单库，开始的时候我们是按照订单ID维度去分库分表，那么后来的业务需求想按照商家维度去查询，比如我想查询某一个商家下的所有订单，就非常麻烦。这个时候通过数据异构就能很好的解决此问题，比如下图

总结起来大概有以下几种场景

 

  1. 数据库镜像
  2. 数据库实时备份
  3. 多级索引
  4. search build（比如分库分表后的多维度数据查询）
  5. 业务cache刷新
  6. 价格、库存变化等重要业务消息

3、数据异构方向

在日常业务开发中大致可以分为以上几种数据去向，DB-DB这种方式，一般常见于分库分表后，聚合查询的时候，比如我们按照订单ID去分库分表，那么这个时候我们要按照用户ID去查询，查询这个用户下面的订单就非常不方便了，当然可以使用统一加到内存中去，但这样不太好。所以我们就可以用数据库异构的方式，重

最低0.47元/天 解锁文章

200万优质内容无限畅学
canal-1.1.5+mysql8+kafka安装部署
QYmufeng的博客
06-22 782
环境： centos7 canal-1.1.5 mysql-8.0.2 kafka-2.1.0+cdh6.2.1 1. 简介： canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库 志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于.
十四、系统扩容——数据异构问题剖析
流楚丶格念的博客
08-30 1167
数据异构的核心思想是根据不同的查询维度建立特定的表结构，从而支持这些维度的查询。尤其在分库分表后，数据的分布更加分散，详情页的展示需要进行多次查询，数据一致性和性能都可能受到影响。聚合后的数据存储在 Redis 等高性能存储系统中，降低了对 MySQL 等关系型数据库的依赖，减少了数据库的负载和单点故障的影响。将多个数据源的数据聚合后存储，前端只需一次查询即可获取全部数据，避免了多次跨库、跨表操作，显著提高查询性能。通过异构表结构，支持不同的维度查询，例如按用户、按商家等维度，避免跨库、跨表查询的复杂性。
十五、寻龙队列术——数据队列：基于Canal实现数据异构
流楚丶格念的博客
08-30 2万+
Canal是阿里开源的一款基于MySQL数据库binlog的增量订阅和消费组件，通过 它可以订阅数据库的binlog 0志，然后进行一些数据消费，如数据镜像、数据异构、数 据索引、缓存更新等。相对于消息队列，通过这种机制可以实现数据的有序性和一致性。Canal架构如下图所示。MySQL数据库首先需要部署canal server,可以同时部署多台，但是只有一台是活跃的，其他的作 为备机。canal server会通过slave机制订阅数据库的binlog H志。
mysql的binlog
最新发布
程序员伊成
05-14 327
Binlog是MySQL的二进制日志，记录数据库表结构变更和数据修改，不记录SELECT和SHOW操作。其主要用途包括主从复制和数据恢复。Binlog有三种记录模式：ROW模式记录每行数据的修改，适合主从复制但日志量大；STATEMENT模式记录SQL语句，日志量小但可能导致主从数据不一致；MIXED模式结合两者，根据SQL语句选择记录方式。Binlog文件结构包含多种事件类型，如Query、Row、Xid。常用命令包括查看Binlog状态、内容、恢复数据库及删除日志。通过Binlog可以实现按时间或事件位
数据异构
weixin_34183910的博客
08-08 295
什么是异构？ 简单的说就是指一个整体中包含有不同的成分的特性，即这个整体由多个不同的成分构成。 在信息技术中，异构一词通常用来形容一个包含或者组成“异构网络”的产品。 所谓的“异构网络”通常指不同厂家的产品所组成的网络，而且各厂家产品具有互操作性。通过制定统一规范，不同厂家的硬件软件产品也可以组成统一网络，并且互相通信。 互联网就是一个典型的异构网络。 意思就是说：由不同的成分构成一个整...
什么是异构数据？
热门推荐
10-13 3万+
异构数据顾名思义就是不同结构的数据，异构数据体现在五个层次上： 1．计算机体系结构的异构；数据的物理存储来源于不同体系结构的计算机中，如：大型机、小型机、工作站、PC或嵌入式系统中。 2．操作系统的异构；数据的存储来源于不同的操作系统，如：Unix、Windows、Linux、OS/400等。 3．数据格式的异构；数据的存储管理机制不同，可以是关系型数据库系统，如：Oracle、SQL Serve...
谈谈数据异构
松花皮蛋的黑板报
11-10 481
京东的内容创作平台有很多的样式，比如文章、单品推荐、搭配、店铺上新、秒杀、直播预告、优惠卷。有些样式可以投稿到不同的频道，频道就好比露出的位置，频道露出的前提是内容质量审...
9-4+京东OLAP实践之路.pdf
03-18
* 数据异构：CSV、TSV、JSON、AVRO、PARQUET、BINLOG等多种数据格式，需要统一的导入服务和界面化操作。 * 数据时效性：离线与实时业务物理隔离、批量与流式导入，需要统一的数据管理机制。 * 更新与删除：数据覆盖...
canal将数据同步到es、mq等实践
springdk2009的博客
02-23 1953
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理。
数据的异构实战（一） 基于canal进行日志的订阅和转换
Danny_idea的博客
10-14 996
什么是数据的异构处理。简单说就是为了满足我们业务的扩展性，将数据从某种特定的格式转换到新的数据格式中来。 为什么会有这种需求出现呢？ 传统的企业中，主要都是将数据存储在了关系型数据库中，例如说MySQL这种数据库，但是为了满足需求的扩展，查询的维度会不断地增加，那么这个时候我们就需要做数据的异构处理了。 常见的数据异构有哪些？ 例如MySQL数据转储到Redis，MySQL数据转储到es等等，也是...
异构数据库集成
09-30
多种数据资源的集成（Excel 数据和文本文件） 除了访问传统的RDBMS外，还可以从其他地方获取数据，比如从用户所持有的Excel 数据和文本文件中。
异构数据库
weixin_33816821的博客
10-17 475
必须对每种数据库写一个sql 转载于:https://www.cnblogs.com/fpcbk/p/9801825.html
数据异构方案
qq_34760272的博客
08-24 1317
转载：https://my.oschina.net/wangxindong/blog/1531596 1、定义 何谓数据异构，上周交易部门商品的同事过来做分享，又看到这个词，他的PPT里面是 数据库异构。其实我们以前做的事情，也是可以成为数据异构。比如我们将DB里面的数据持久化到REDIS里面去，就是一种数据异构的方式。如果要下个定义的话：把数据按需（数据结构、存取方式、存取形式）异地构建存储。 2、常见应用场景 分库分表中有一个最为常见的场景，为了提升数据库的查询能...
117.数据异构方案
YouMing_Li的博客
05-20 1707
何谓数据异构：把数据按需（数据结构、存取方式、存取形式）异地构建存储。比如我们将DB里面的数据持久化到Redis或者ES里面去，就是一种数据异构的方式。常见应用场景分库分表中有一个最为常见的场景，为了提升数据库的查询能力，我们都会对数据库做分库分表操作。比如订单库，开始的时候我们是按照订单ID作为分片键去分库分表，后来的业务需求想按照商家维度去查询，比如想查询某一个商家下的所有订单，就非常麻烦。异构维度数据异构总结起来大概有以下几种场景数据库镜像（DB→DB）数据库实时备份。
并发系统设计中的数据异构和数据闭环
weixin_37632716的博客
01-08 488
数据异构 订单分库分表一般按照订单ID进行，如果要查询某个用户的订单列表，需要聚合多个表的数据后才能返回，会导致订单表的读性能降低。此时需要对订单表异构，异构一套用户订单表，按照用户ID进行分库分表。另外还需要考虑对历史订单数据进行归档处理，以提升服务的性能和稳定性。而有些数据异构的意义不大，如库存价格，可以考虑异步加载，活着合并请求。 数据闭环 实现数据闭环，如商品详情页，因为数据来源太多，影响服务稳定性，最好的办法是把使用到的数据进行异构存储，形成数据闭环，基本步骤： 1.数据异构 通过消息队列接受数据
高并发架构设计原则-数据异构
datuzijean的博客
06-15 524
什么是数据异构呢？简单举个例子，有一张基础表含有商品单格、数量、仓库等信息，有业务场景查询只需要查单价和数量，然而其他信息都不关心，可以把这部分数据从基础表中复制出来单独成表；以此类推，异构既可以是分表也可以是合表。目的是让业务使用数据更方便和快捷。 实用中基本步骤如下： 数据异构 接收数据，然后原子化存储到合适的存储引擎。 数据聚合 把“有用“的数据聚合成一张表或者一对keyvalue 前端展示 通过一次货少量几次调用拿到所需要的数据 ...
springboot+es+mq+msql
03-20
### Spring Boot与Elasticsearch、MQ及MySQL的集成方案 #### 方案概述 为了实现Spring Boot与Elasticsearch、消息队列(MQ)以及MySQL之间的高效数据同步，可以采用多种技术手段来完成这一目标。以下是几种常见的方法及其最佳实践： 1. **基于MQ的消息传递机制** 使用消息队列作为中间件，在MySQL的数据发生变化时，通过监听器捕获变更事件并发送至MQ，随后由消费者程序处理并将更新后的数据写入Elasticsearch中[^1]。 2. **Flink CDC实时流处理框架** 对于需要高性能和低延迟的应用场景，推荐使用Flink CDC插件读取MySQL Binlog日志中的增量数据变化记录，并将其转换为结构化数据流(DataStream)，最后推送到Elasticsearch存储索引服务当中[^2]。 3. **Logstash工具链路设计** Logstash能够轻松连接各种输入源（如数据库表）与输出端口（比如ES集群），因此也可以作为一种可行的选择用于构建整个系统的ETL流程自动化解决方案之一. 4. **Canal客户端开发模式** 如果项目环境允许的话，则可以直接利用阿里巴巴开源出来的canal组件去订阅来自master节点上的binlogs文件内容进而解析得到最新的DML操作语句再转发给下游应用层做进一步加工处理后再存放到es里边形成最终查询可用版本. #### 示例代码展示 下面提供了一个简单的例子演示如何借助Kafka作为中介桥梁实现上述提到的第一种方式即mq驱动型架构下的具体编码逻辑片段: ```java // Kafka Producer Configuration in Application Properties File spring.kafka.bootstrap-servers=localhost:9092 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=com.fasterxml.jackson.databind.ObjectMapper @Service public class MysqlToEsService { @Autowired private KafkaTemplate<String, Map<String,Object>> kafkaTemplate; public void sendUpdate(Map<String, Object> record){ this.kafkaTemplate.send("mysql-changes",record); } } @Component @RequiredArgsConstructor(onConstructor_=@Autowired) class EsConsumer { final RestHighLevelClient esClient; @KafkaListener(topics="mysql-changes") public void consume(ConsumerRecord<?, ?> cr)throws IOException{ var data=(Map<String,Object>)cr.value(); IndexRequest request=new IndexRequest("your_index"); request.source(new ObjectMapper().writeValueAsString(data), XContentType.JSON ); esClient.index(request, RequestOptions.DEFAULT); } } ``` 以上仅是一个基础示范，请根据实际业务需求调整相应参数设置或者扩展更多功能特性支持复杂情况下的灵活应对策略。 --- ####
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值