MySQL数据库数据动态监控（canal+Kafka）

原创 已于 2023-01-25 23:23:48 修改 · 1.4k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #开发语言

于 2023-01-25 19:24:39 首次发布
本文介绍了如何使用Canal监控MySQL数据库的binlog并借助Kafka进行实时推送。首先，你需要在MySQL服务器上开启binlog并创建Canal用户。接着，下载并安装Canal，配置相关参数，如设置serverMode为kafka，指定Kafka服务器地址等。完成配置后启动Canal，最后启动Kafka消费者以接收数据库变更消息。

参考资料：

参考文章https://gper.club/articles/7e7e7f7ff3g59gc6g6d

canal官网 https://github.com/alibaba/canal

canal教程 https://www.bilibili.com/video/BV1aL4y1E7Tb/?spm_id_from=333.337.search-card.all.click&vd_source=97411b9a8288d7869f5363f72b0d7613

环境准备：

  • 要有本服务器可访问的MySQL服务，远程的请检查是否已经开启了MySQL远程访问，如果没有，参考
  • 因为本文是canal结合Kafka，监控MySQL的binlog，并进行数据库变化的推送，所以必须有可使用的Kafka
  • 没有Kafka的参考：Kafka单节点（推荐），或者Kafka集群
  • 还需要Java8，及以上的JDK环境

canal安装及配置：

在基础环境部署好后，就开始安装canal

1. 在目标数据库上创建用户和数据库

  • 首先需要在数据库上开启binlog,且binlog-format必须是ROW
  • 找到MySQL的配置文件，默认路径是：/etc/my.cnf

 vim /etc/my.cnf

  • 在配置文件中添加下面语句

log-bin=/usr/local/mysql/data/mysql-bin
binlog-format=ROW
server_id=1

 

  •  然后进入到MySQL，mysql -u root -p，输入密码登录

  • 查看是否开启binlog

show variables like 'log_bin';

  • 然后启动或重启MySQL服务 ()

# 启动MySQL

sudo service mysqld start

# 重启MySQL

sudo service mysqld restart

# 查看MySQL状态 

sudo service mysqld status

  •  然后再进入到数据库中，mysql -u root -p ,创建用户和数据库

# 创建canal专用的用户，用于访问master获取binlog

CREATE USER canal IDENTIFIED BY '123456';

  •  给canal用户分配查询和复制的权限

先检查权限是否开启

#  查看已创建的数据库

show databases;


#  选择MySQL数据库

use mysql
 

# 查看root用户是否开启

select user,host,grant_priv from user;

 如果root显示是N，则需要开启

UPDATE user set Grant_priv='Y' where user='root' and `Host`='%';

刷新权限

 flush privileges;

 

给canal用户分配查询和复制的权限

GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO canal@'%';

  •  刷新权限

FLUSH PRIVILEGES;

  •  配置密码

ALTER USER 'canal'@'%' IDENTIFIED WITH mysql_native_password BY '123456';

  • 创建测试数据库

CREATE DATABASE `canaltest` CHARSET `utf8mb4` COLLATE `utf8mb4_unicode_ci`;

CTRL+Z进行退出 

 2. 下载安装canal

  • 以安装目录：/usr/local/soft/canal为例

用目前稳定版本1.1.4

cd /usr/local/soft/
mkdir canal
cd canal

  • 然后在canal目录中下载canal的安装包，有两种方式

(1).  本地下载好后再上传到服务器中的  /usr/local/soft/canal 目录(特别推荐)

访问网址

https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz

将下载好的tar包上传至创建的目录 /usr/local/soft/canal

(2). 执行以下命令进行下载（不推荐，经常下载失败）

 wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.deployer-1.1.4.tar.gz

  • 下载好后，进行解压

tar -zxvf canal.deployer-1.1.4.tar.gz

  •  配置相应的配置项

在canal目录下，执行

vim conf/canal.properties

添加如下配置

canal.serverMode=kafka
canal.mq.servers = 192.168.44.160:9092

保存退出

在canal目录下执行

 vim /usr/local/soft/canal/conf/example/instance.properties

 修改或添加如下配置

canal.instance.master.address=192.168.44.121:3306
canal.instance.dbUsername=canal
canal.instance.dbPassword=123456
# 新增
canal.instance.defaultDatabaseName=canaltest
# 这个topic会自动创建
canal.mq.topic=canal-topic

 

 

  • 启动Kafka，如果不会参考
  •  进入到bin目录，启动canal

cd bin

sh startup.sh 
# 查看实例日志
tail -100f /usr/local/soft/canal/logs/canal/canal.log

3. 启动Kafka消费者，消费我们配置好的 canal-topic

 在Kafka服务器上的安装目录下的bin目录，执行以下语句，消费canal-topic

 4.在canaltest数据库随便建一张表，做增删改的操作,Kafka的canal-topic消费者就能接收到数据变化的消息

 

  •  我们可以利用这个技术，进行数据库的动态监测

MySQL数据库实时监控与Kafka数据流处理
WdzDevops的博客
09-23 382
在开始之前，我们需要搭建相应的环境。对于Java开发者，可以使用MySQL Connector/J作为MySQL数据库的驱动程序，使用Kafka的Java客户端作为Kafka的驱动程序。通过将MySQL的二进制日志发送到Kafka，并使用Kafka消费者处理数据，我们可以实现对数据库的实时监控和数据流处理。通过将MySQL和Kafka结合起来，我们可以实现对数据库变化的实时监控，并对数据进行相应的处理和分析。一旦将MySQL的二进制日志发送到Kafka，我们可以使用Kafka的消费者来处理这些数据。
flink读取并实时监控mysql的变化到kafka里
qq_45451226的博客
11-18 3384
运行条件 mysql的binlog要开启(8.0默认是启动的，其它版本的百度百度吧) zookeeper和Kafka要开启 pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLo
Kafka + Canal + MySQL 集群部署
qq_48391148的博客
04-04 3705
canal产生的背景：早期，阿里巴巴B2B公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求。不过早期的数据库同步业务，主要是基于trigger的方式获取增量变更，不过从2010年开始，阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务，从此开启了一段新纪元。canal 翻译为水道，管道，沟渠，是由java语言开发的，它的定位就是基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持mysql/mariadb。
Canal+Kafka实现Mysql数据同步
shadow_zed的博客
08-10 2342
译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费canal可以用来监控数据库数据的变化，从而获得新增数据，或者修改的数据。canal是应阿里巴巴存在杭州和美国的双机房部署，存在跨机房同步的业务需求而提出的。阿里系公司开始逐步的尝试基于数据库的日志解析，获取增量变更进行同步，由此衍生出了增量订阅&消费的业务。canal主要用途是基于 MySQL 数据库增量日志解析，并能提供增量数据订阅和消费，应用场景十分丰富。目前canal主要支持mysql数据库。
通过FlinkCDC将MySQL中变更的数据写入到kafka（DataStream方式）
不会打球的摄影师不是好程序员
11-19 9505
文章目录前言一、CDC的种类？二、通过FlinkCDC将数据从MySQL导入到Kafka1.核心代码2.工具类3.可能会出现的错误及解决解决： 前言 CDC的Change Data Capture（变更数据捕获）的缩写 FlinkCDC的核心思想是监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。 一、CDC的种类？ CDC 主要分为基于查询和基于 Binlog 两种方式，简述两者的区别：
centos7部署两个mysql_基于 Canal 和 Kafka 实现 MySQL 的 Binlog 近实时同步
weixin_39939918的博客
12-28 250
Throwablehttps://juejin.im/post/5e6a6746f265da575c16d678前提近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建...
Canal监控MySQL数据到Kafka详细步骤(jdk+zookeeper+kafka+canal+mysql)
weixin_55549435的博客
03-11 5653
以下步骤是通过一台虚拟机搭建的单节点jdk+zookeeper+kafka+canal+mysql集群环境，搭建完成可通过canal监控mysql数据库数据发送到kafka。
kafka spark mysql_基于Spark Streaming + Canal + Kafka对Mysql增量数据实时进行监测分析
weixin_32329555的博客
01-19 596
Spark Streaming可以用于实时流项目的开发，实时流项目的数据源除了可以来源于日志、文件、网络端口等，常常也有这种需求，那就是实时分析处理MySQL中的增量数据。面对这种需求当然我们可以通过JDBC的方式定时查询Mysql，然后再对查询到的数据进行处理也能得到预期的结果，但是Mysql往往还有其他业务也在使用，这些业务往往比较重要，通过JDBC方式频繁查询会对Mysql造成大量无形的压力...
Canal + MySQL + Zookeeper + Kafka 数据实时同步
Trollz的博客
09-19 1762
Real time data synchronization of Canal+MySQL+Zookeeper+Kafka
基于Canal+kafka监听数据库变化的最佳实践
static_coder的博客
12-22 3545
工作中，我们很多时候需要根据某些状态的变化更新另一个业务的逻辑，比如订单的生成，成交等，需要更新或者通知其他的业务。我们通常的操作通过业务埋点、接口的调用或者中间件完成。但是状态变化的入口比较多的时候，就很容易漏掉某些地方。代码维护起来也比较麻烦。今天介绍阿里出品的【canal】中间件完成数据库字段的监听。
基于 Canal 和 Kafka 实现 MySQL 的 Binlog 近实时同步
weixin_42450619的博客
03-27 205
前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。 这篇文...
kafka canal mysql_Canal+Kafka实现MySql与Redis数据一致性
weixin_29765949的博客
02-17 455
在生产环境中，经常会遇到MySql与Redis数据不一致的问题。那么如何能够保证MySql与Redis数据一致性的问题呢?话不多说，咱们直接上解决方案。首先，咱们得先开启MySql的允许基于BinLog文件主从复制。因为Canal的核心原理也是相当于把自己当成MySql的一个从节点，然后去订阅主节点的BinLog日志。开启BinLog文件配置1.配置MySQL的 my.ini/my.cnf ...
基于Canal和Kafka实现MySQL的Binlog近实时同步
dadashitou的博客
06-07 1813
近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展功能的数据模型。基于当前团队的资源和能力，优先调研了Alibaba开源中间件Canal的使用。，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。Canal。
使用Canal同步MySQL数据到Kafka
yqqの博客
01-04 3060
Canal架构原理 1.Canal Server结构 server 代表一个 canal 运行实例，对应于一个 jvm。 instance 对应于一个数据队列 （1个 canal server 对应 1…n 个 instance ) instance 下的子模块 a.eventParser: 数据源接入，模拟 slave 协议和 master 进行交互，协议解析 b.eventSink: Parser 和 Store 链接器，进行数据过滤，加工，分发的工作 c.eventStore: 数据存储 meta
MySQL与数据库实时监控
AI天才研究院
01-18 1292
1.背景介绍 在现代互联网企业中，数据库系统的性能和稳定性对于企业的运营和竞争力具有重要意义。实时监控是数据库性能调优和故障预警的基础。MySQL作为一种流行的关系型数据库管理系统，在实时监控方面具有很高的实用性和可扩展性。本文将从以下几个方面进行深入探讨： 背景介绍 核心概念与联系 核心算法原理和具体操作步骤以及数学模型公式详细讲解 具体代码实例和详细解释说明 未来发展趋势与挑战 附录常见...
canal同步mysql数据到kafka， kafka消费存入clickhouse
weixin_38738049的博客
02-13 1158
环境winmysql5.7如果不想看步骤可以直接下载我打包好的文件，修改相关数据库配置就行。
MySQL中数据库表的监控
夏天又到了的专栏
03-19 1068
如果该值很高，则可能存在很多查询需要进行整表扫描，或者查询时一些表的关联连接没有正确使用主键或者索引。Handler_read_rnd_next：从数据库数据文件中读取下一行的请求数。如果越低，表示索引的利用很低。（4）查看数据库中的表被扫描的情况：show global status like 'handler_read%'，如图6-1-8所示。Handler_read_rnd_deleted：从数据库数据文件中读取被删除记录行的请求数。Handler_read_last：读取索引中最后一个键的请求数。
canal+kafka 获取数据库变更 写入hudi表
最新发布
04-19
<think>好的，我现在需要帮用户解决如何通过Canal和Kafka捕获数据库变更并将数据写入Hudi表的问题。首先，我得回顾一下用户之前的问题和之前的回答。用户之前对比了Hudi和Hive的实时处理能力，现在想具体实现一个使用Canal和Kafka的数据管道，将数据库变更同步到Hudi。 首先，用户提到了使用Canal和Kafka，所以需要明确这两个组件的作用。Canal用于监听数据库的binlog，将变更数据发送到Kafka。然后，需要一个处理层来消费Kafka的数据并写入Hudi。根据之前的引用内容，用户可能参考了Flink作为处理引擎，因为引用中提到了Flink CDC和Hudi的结合。不过用户现在明确提到的是Canal+Kafka，所以可能需要调整方案，使用Flink消费Kafka的数据，而不是直接使用Flink CDC。 接下来，我需要确定步骤。首先，配置Canal监听MySQL的binlog，并将变更发送到Kafka。然后，使用Flink作为流处理引擎，消费Kafka中的变更数据，处理后将数据写入Hudi表。这里需要考虑数据格式转换、Hudi表的类型（COW或MOR）、以及如何保证Exactly-Once语义。 用户可能关心如何确保数据的正确性和一致性，比如如何处理DDL变更，如何保证顺序，以及如何优化写入性能。根据之前的回答，Hudi支持ACID事务，可以通过时间线管理来处理并发写入，所以需要配置Flink作业正确使用这些特性。 另外，用户可能还需要考虑数据的分区策略、小文件合并、以及如何查询Hudi表中的数据。例如，使用MOR表进行实时查询，或者COW表用于快速读取。同时，需要确保Flink作业能够处理全量和增量数据，可能在全量导入时使用批处理，增量阶段使用流处理。 还需要参考用户提供的引用内容，特别是引用4和5中提到Flink读取binlog，全量数据采集后发送到Kafka，然后由Spark写入Hudi。但用户现在想用Flink，所以可能需要调整流程，用Flink代替Spark。同时，引用5提到Enumerator监控表状态，通知Binlog任务打标签，这可能涉及checkpoint机制，确保数据一致性。 最后，用户可能希望具体的代码示例和配置步骤，比如如何设置Canal，Flink作业的配置，Hudi表的创建参数等。需要确保步骤清晰，并且考虑到可能的错误处理，比如Kafka消费偏移量的管理，Hudi的写入优化参数等。 总结一下，需要分步骤说明：配置Canal和Kafka，Flink消费Kafka数据，写入Hudi表，以及优化和验证步骤。同时，要结合用户提供的引用内容，确保方案可行，并解决用户可能的隐藏需求，如数据延迟、一致性、系统扩展性等。</think>### 基于 Canal + Kafka + Flink 的 Hudi 实时入湖方案 以下是完整的实现流程，结合 CDC 技术栈与 Hudi 的增量处理能力： --- #### 一、整体架构设计 ```plaintext MySQL -> Canal (捕获binlog) -> Kafka (存储变更日志) -> Flink (流处理) -> Hudi (存储层) ``` **技术组件作用**： - **Canal**：伪装为 MySQL Slave，解析 binlog 生成 JSON 格式变更事件[^2][^3] - **Kafka**：缓冲变更数据，解耦生产与消费速率 - **Flink**：消费 Kafka 数据，处理 Schema 变更，写入 Hudi 表（支持 Exactly-Once 语义） - **Hudi**：存储层管理 ACID 事务、增量合并、时间旅行查询[^1] --- #### 二、具体实现步骤 ##### 1. **配置 Canal 捕获 MySQL 变更 ```yaml # canal.properties 核心配置 canal.serverMode = kafka # 输出到Kafka canal.mq.servers = kafka1:9092,kafka2:9092 canal.mq.topic = db_cdc canal.destination = example # 实例名称 canal.instance.filter.regex = .*\\..* # 监控所有库表 ``` 启动 Canal 后，MySQL 的 INSERT/UPDATE/DELETE 操作会转为 JSON 写入 Kafka，格式示例： ```json { "type": "UPDATE", "database": "test_db", "table": "orders", "before": {"id": 1001, "amount": 50.0}, "after": {"id": 1001, "amount": 60.0}, "ts": 1698765432000 } ``` ##### 2. **Flink 消费 Kafka 数据 使用 Flink SQL 创建 Kafka Source 表： ```sql CREATE TABLE kafka_cdc ( `type` STRING, `database` STRING, `table` STRING, `before` ROW<id INT, amount DOUBLE>, `after` ROW<id INT, amount DOUBLE>, `ts` BIGINT ) WITH ( 'connector' = 'kafka', 'topic' = 'db_cdc', 'properties.bootstrap.servers' = 'kafka1:9092', 'format' = 'json' ); ``` ##### 3. **写入 Hudi 表 根据业务需求选择 **COW**（直接覆盖）或 **MOR**（日志合并）表类型： ```sql -- 创建 Hudi MOR 表（支持增量合并） CREATE TABLE hudi_orders ( id INT PRIMARY KEY, amount DOUBLE, `ts` BIGINT ) WITH ( 'connector' = 'hudi', 'path' = 's3://data-lake/hudi/orders', 'table.type' = 'MERGE_ON_READ', 'write.operation' = 'upsert', 'hoodie.datasource.write.recordkey.field' = 'id', 'hoodie.datasource.write.precombine.field' = 'ts' ); -- 将 Kafka 数据写入 Hudi INSERT INTO hudi_orders SELECT after.id AS id, after.amount AS amount, ts FROM kafka_cdc WHERE `table` = 'orders' AND `type` IN ('INSERT', 'UPDATE'); ``` ##### 4. **处理 DELETE 操作 Hudi 支持软删除和硬删除，需在 Flink 中转换 DELETE 事件： ```sql -- 添加删除标记字段 ALTER TABLE hudi_orders ADD `_hoodie_is_deleted` BOOLEAN; -- 处理删除逻辑 INSERT INTO hudi_orders SELECT before.id AS id, NULL AS amount, ts, TRUE AS _hoodie_is_deleted -- 标记为删除 FROM kafka_cdc WHERE `type` = 'DELETE' AND `table` = 'orders'; ``` --- #### 三、高级优化策略 ##### 1. **Schema 变更自动同步 - **Canal 配置**：开启 DDL 事件采集[^3] - **Flink 处理**：解析 DDL 并动态更新 Hudi 表结构 ```java // 示例：Flink 动态解析 DDL（需自定义逻辑） public class DDLEventProcessFunction extends ProcessFunction<String, String> { @Override public void processElement(String ddl, Context ctx, Collector<String> out) { if (ddl.contains("ALTER TABLE")) { // 调用 Hudi 的 Schema Evolution API HoodieTableMetaClient metaClient = ...; metaClient.getTableConfig().setSchema(...); } } } ``` ##### 2. **小文件合并 Hudi 自动合并策略配置： ```properties # Flink Hudi 配置 hoodie.cleaner.commits.retained=20 hoodie.parquet.max.file.size=128 # 单位MB hoodie.logfile.max.size=64 # 单位MB ``` ##### 3. **Exactly-Once 保障 - **Flink Checkpoint**：开启并设置 1 分钟间隔 - **Hudi 异步压缩**：避免阻塞主写入流程 ```sql SET execution.checkpointing.interval = 60s; SET execution.checkpointing.mode = EXACTLY_ONCE; ``` --- #### 四、验证与监控 1. **数据一致性检查** ```sql -- 查询 Hudi 最新快照 SELECT COUNT(*) FROM hudi_orders TIMESTAMP AS OF '2023-11-01 12:00:00'; -- 对比源库与 Hudi 表 SELECT MAX(ts) FROM mysql.orders; SELECT MAX(ts) FROM hudi_orders; ``` 2. **监控指标** - **Kafka Lag**：Flink 消费延迟（Grafana 展示） - **Hudi Commit Frequency**：写入频率（Hudi Timeline API） - **Compaction Duration**：MOR 表合并耗时（Hudi Metrics） --- ### 关键问题解答 1. **如何保证顺序性？** - Canal 按 binlog 顺序写入 Kafka 分区 - Flink 按主键分区写入 Hudi（`hoodie.datasource.write.keygenerator.class` 配置） 2. **如何处理大事务？** - 调整 Canal 的 `canal.instance.transaction.size` 参数 - Flink 开启缓冲（`table.exec.mini-batch.enabled=true`） 3. **与 Flink CDC 对比优势？** - Canal 支持更灵活的 DDL 解析和过滤规则[^3] - 已有 Canal 集群可复用，降低迁移成本[^2] --- ### 扩展方案：整库同步工具 若需同步整个 MySQL 数据库，可使用 **Canal-Adapter** 自动生成 Flink 作业： ```bash # 启动 Canal-Adapter bin/startup.sh -config conf/application.yml \ -hudi.conf.path conf/hudi-template.yaml ``` 模板配置参考： ```yaml # hudi-template.yaml target: type: hudi path: "s3://data-lake/hudi/{database}/{table}" write: operation: upsert precombine.field: "ts" ``` --- [^1]: Hudi 的事务管理通过时间轴（Timeline）实现，保障 ACID 特性。 [^2]: Canal 的 DDL 解析能力使其适合复杂 Schema 变更场景。 [^3]: Flink 的流批一体能力在此架构中实现增量与全量数据统一处理。 [^4]: 异步压缩策略可平衡实时写入性能与查询效率。 [^5]: 通过 Kafka 的分区策略可优化数据分布，避免写入热点。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PH = 7

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值