实时监控Mysql等数据库变化_进行数据同步_了解Maxwell_--MaxWell工作笔记001

添柴程序猿

于 2022-07-21 09:00:00 发布

阅读量577

点赞数

CC 4.0 BY-SA版权

分类专栏：离&实时计算&大数据文章标签：数据库 java MaxWell 数据库监控 Mysql更新监控

本文为博主原创文章，未经博主添柴程序猿允许不得转载违者追究法律责任。

本文链接：https://blog.youkuaiyun.com/lidew521/article/details/125897287

离&实时计算&大数据专栏收录该内容

191 篇文章 ¥9.90 ¥99.90

订阅专栏

超级会员免费看

Maxwell是一款由Zendesk开发的Java工具，用于实时读取MySQL的binlog并转换为JSON格式，发送至Kafka、RabbitMQ等。它模仿MySQL从库获取binlog，提供轻量级的数据同步解决方案，支持断点续传和列级数据分区。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.Maxwell 是一个读取 MySQL binlogs日志,这样就可以知道数据库修改的内容_ 并将修改行字段的更新用json的格式 ,写入 Kafka, Kinesis, RabbitMQ, Google Cloud Pub/Sub 或 Redis (Pub/Sub or LPUSH)

2.Maxwell是由美国Zendesk开源，使用Java编写的MySQL实时抓取工具，可以实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它设计的初衷是实时采集Mysql数据到Kafka。支持全表load数据，支持自动断点还原，支持按照列将数据发送到Kafka不同分区。
Maxwell官网：http://maxwells-daemon.io/
3.Maxwell工作原理与Canal工作原理一样，都是把自己伪装成MySQL 的slave从库，同步binlog数据，来达到同步MySQL数据，与Canal相比，更加轻量。同样使用Maxwell也需要开启MySQL binlog日志。