利用Maxwell实现监听MySql数据库binlog日志，实现增量读取MySql数据

最新推荐文章于 2024-03-20 22:59:21 发布

wx_Jum

最新推荐文章于 2024-03-20 22:59:21 发布

阅读量2.5k

点赞数

CC 4.0 BY-SA版权

分类专栏： hadoop Spark

本文链接：https://blog.youkuaiyun.com/weixin_44327656/article/details/88936563

Maxwell简介

什么是Maxwell?
Maxwell是一个能够读取MySQL binlog并将行更新作为JSON写入Kafka、Kinesis或其他流媒体平台的应用程序。Maxwell的操作开销很低，只需要mysql和一个写操作的地方。它的常用用例包括ETL、缓存构建/过期、指标收集、搜索索引和服务间通信。Maxwell为您提供了事件源的一些好处，而无需重新构建整个平台。

下载地址：https://github.com/zendesk/maxwell/releases/download/v1.21.1/maxwell-1.21.1.tar.gz 
资源地址：https://github.com/zendesk/maxwell

下载且编译Maxwell

curl -sLo - https://github.com/zendesk/maxwell/releases/download/v1.21.1/maxwell-1.21.1.tar.gz \
       | tar zxvf -
cd maxwell-1.21.1

如果使用的是docker镜像

docker pull zendesk/maxwell

如果使用的是Mac OS X

brew install maxwell

配置mysql的my.cnf

vi /etc/my.cnf  #仅列相关配置项
	[mysqld]
	server_id=1234
	log-bin=bin-log
	binlog_format=row
	#binlog_row_image=FULL

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

wx_Jum

关注关注

0
点赞
踩
6

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Maxwell数据库数据采集-大数据week12-DAY1-Maxwell

qq_43058317的博客

05-28

1804

文章目录前言Maxwell 数据库数据实时采集1、Maxwell 简介2、Mysql Binlog介绍2.1 Binlog 简介2.2 Binlog 的日志格式3、Mysql 实时数据同步方案对比4、开启Mysql的Binlog5、Maxwell安装部署6、kafka介绍和使用6.1 Kafka简介6.2 Kafka特性6.3 Kafka集群架构6.4 Kafka集群安装部署6.5 kafka集群启动和停止6.6 kafka命令行的管理使用7、Maxwell实时采集mysql表数据到kafka总结前言

mysql binlog 监听_利用Maxwell组件实时监听Mysql的binlog日志

weixin_32047493的博客

01-20

260

一：在linux环境下安装部署好mysql开启binlogVim /etc/my.cnfmysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row(binlog有三种格式：Statement、Row以及Mixed)3重启msyql服务service mysqld restart查看是否已经开启binlog查看是否已经开启binlog 是否改为r...

参与评论您还未登录，请先登录后发表或查看评论

Maxwell采集MySQL的binlog日志

m0_70673163的博客

04-29

843

提示：本文是在Linux上的操作。

mysql binlog 监听_20180530利用Maxwell组件实时监听Mysql的binlog日志

weixin_28720767的博客

01-27

287

转自：https://blog.youkuaiyun.com/qq_30921461/article/details/78320750http://kafka.apache.org/quickstarthttp://maxwells-daemon.io/quickstart/文档主题：如何使用Maxwell实时监听Mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口具体步骤一：在li...

利用Maxwell组件实时监听Mysql的binlog日志

weixin_30549657的博客

07-02

244

一：在linux环境下安装部署好mysql 开启binlog Vim /etc/my.cnf mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：Statement、Row以及Mixed） 3重启msyql服务 service mysqld restart 查看是否已经开启bi...

java实时解析mysql日志,利用maxwell 组件实时监听Mysql的Binlog日志，并且把解析的json格式数据发送到kafka窗口供实时消费...

weixin_33711795的博客

03-15

625

一：在linux环境下安装部署好mysql1 ：开启binlogsudo vi /etc/my.cnf (Mysql的配置文件)2： mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row(binlog有三种格式：Statement、Row以及Mixed)server-id=1log-bin=/data/mysql/log/binlog(这一...

通过Maxwell实时增量抽取MySQL binlog并通过stdout展示

06-30

918

下载Maxwell 解压Maxwell 修改MySQL的配置文件my.cnf [root@hadoop000 etc]# vi my.cnf [mysqld] server-id = 1 binlog_format = ROW binlog_format必须设为ROW模式，如果设为其他模式，比如binlog_format = STATEMENT，启动maxwell时会报错 [root@hado...

监听mysql的binlog日志工具分析：canal、Maxwell、Databus、DTS

热门推荐

weixin_38071106的博客

03-14

1万+

目录 canal Maxwell Databus 阿里云的数据传输服务DTS 相关/类似技术 yugong DRD canal 定位：基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了mysql 原理： canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议 mysql master...

监听mysql bin文件,使用Binlog+FlinkCDC实时监控数据

weixin_42514521的博客

03-27

4783

一、MySql的Binlog1、什么是Binlog1)binlog是二进制日志，并且是事务安全性2)binlog记录了所有的DDL和DML(除了数据查询语句)语句，并以事件的形式记录,还包含语句所执行的消耗的时间3)一般来说开启二进制日志大概会有1%的性能损耗。2、Binlog使用场景1)使用binlog恢复数据2)在项目中动态监听mysql中变化的数据3、Binlog开启1)在MySQL的配置文...

maxwell同步mysql到es_使用Maxwell实时同步mysql数据

weixin_33170268的博客

01-27

1663

接上一篇Mysql主从复制的搭建-基于Docker，本文介绍用Maxwell伪装成mysql从节点，接收binlog的使用。Maxwell简介maxwell是由java编写的守护进程，可以实时读取mysql binlog并将行更新以JSON格式写入kafka、rabbitMq、redis等中，这样有了mysql增量数据流，使用场景就很多了，比如：实时同步数据到缓存，同步数据到ElasticSe...

使用maxwell实时同步mysql数据到消息队列(rabbitMQ)

xiehd313的博客

07-30

9626

maxwell简介 maxwell是一个由Java编写的守护进程，可以实时读取mysql binlog并将行更新以JSON格式写入Kafka，Kinesis，RabbitMQ，Google Cloud Pub / Sub或Redis（Pub / Sub或LPUSH）。（以上内容摘自maxwell官网）。可以想象，有了mysql增量数据流，使用场景就很多了，比如：实时同步数据到缓存，同步数据到El...

大数据-MaxWell

海恋北斗星

09-27

1525

大数据-MaxWell（一） MaxWell的基本介绍 Maxwell是一个能实时读取MySQL二进制日志binlog，并生成 JSON 格式的消息，作为生产者发送给 Kafka，Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。它的常见应用场景有ETL、维护缓存、收集表级别的dml指标、增量到搜索引擎、数据分区迁移、切库binlog回滚方案等。官网(http://maxw...

Maxwell监听mysql的binlog日志变化写入kafka消费者

python8181的博客

03-20

879

一. 环境： maxwell:v1.29.2 (从1.30开始maxwell停止了对java8的使用，改为为11)2.查看mysql生成的binlog日志文件:正常会生成二个文件一个初始化文件，一个索引记录文件。maxwell可以成功将监听到的binlog日志信息写入到kafka的主题中去消费。1. 配置mysql的my.cnf配置文件开启binlog日志。4.1.2 ： binlog消费到kafka的topic中。这种config式的配置之后在使用指令式的时候。4.2 指定config文件式。

Maxwell安装和监听操作

qq_55870278的博客

11-23

1351

Maxwell安装和监听操作

《数据同步-Maxwell系列》maxwell订阅MySQL的binlog日志并生产到Kafka传输数据

https://blog.datasource.space

01-13

2201

maxwell 监听binlog日志同步到 rabbitmq

zhazhaji的博客

12-18

885

资源 maxwell官网参数配置 rabbitmq 服务端及客户端界面 mysql 服务端 docker 修改mysql的配置文件并重启 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row 新增mysql对应maxwell数据库及用户密码 mysql> create database maxwell; mysql> CREATE USER 'maxwell'@'%' IDEN..

Maxwell系列：Maxwell采集Mysql到Kafka

wester的博客

02-27

1712

Maxwell系列：Maxwell采集Mysql到Kafka

Maxwell 概述、安装、数据同步【一篇搞定】！

JIE的博客 --- moon_coder

09-15

8673

Maxwell 在大数据领域通常指的是一个用于数据同步和数据捕获的开源工具，由美国 Zendesk 开源，用 Java 编写的 MySQL 等关系型数据库的实时抓取软件。Maxwell 可以监控数据库中的更改，并将这些更改以可消费的方式传递给其他系统。它通常用于实时数据管道、数据仓库、事件驱动架构等场景中，帮助将数据库中的变更数据传送到其他系统，以便进行分析、报告和其他数据处理操作。实时数据捕获：Maxwell 可以实时地捕获数据库中的更改，包括插入、更新和删除操作。支持多种数据库。

maxwell监听MySQL的Binlog

彭世瑜的博客

06-15

1836

1、下载解压 http://maxwells-daemon.io/quickstart/ 2、修改MySQL服务器配置 $ vi my.cnf [mysqld] server_id=1 log-bin=master binlog_format=row 3、创建账号给maxwell使用 mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY '1234...

在sql server 数据插入mysql 数据库如何写语句

最新发布

07-25

<think>嗯，用户想了解如何将数据从SQL Server迁移到MySQL数据库，这是一个常见的数据库迁移需求。需要从多个角度来思考这个问题。用户可能正在面临数据库迁移任务，可能是系统升级或者平台切换。从技术复杂度来看，这种跨数据库迁移需要考虑数据类型差异、数据量大小、迁移时效性等因素。用户没有说明具体数据量，所以需要提供不同规模的解决方案。参考了站内资料，发现引用[1]提到Python单行插入和批量插入的方法，引用[2][3][4]则涉及SQL Server和MySQL的特定操作。这些可以作为技术参考，但需要整合成系统化的迁移方案。首先考虑最简单的导出导入方式。SQL Server的bcp工具和MySQL的LOAD DATA都是高效的选择，特别适合大数据量迁移。不过要注意字符编码问题，SQL Server常用Latin1而MySQL多用UTF-8，需要确保转换正确。对于中等规模数据，Python脚本是个灵活的选择。引用[1]中的示例展示了单条插入，但实际应该用executemany做批量操作。这里需要特别注意事务处理，否则每次提交都会影响性能。建议每5000-10000条提交一次。当数据结构复杂时，ETL工具就很有必要了。SSIS和Pentaho都能处理类型映射和转换逻辑，比如把SQL Server的datetimeoffset转成MySQL的datetime。用户如果经常需要同步数据，这个方案最可持续。最后想到几个关键细节：自增ID处理建议保留原值，二进制字段需要base64编码，迁移后一定要做数据校验。特别是金额字段，必须验证精度是否丢失。用户可能还会关心迁移过程中的服务可用性。如果是生产环境，建议使用增量迁移：先全量迁移历史数据，再通过变更捕获同步增量数据，最后切换服务。这样停机时间可以控制在分钟级。</think>以下是几种将数据从 SQL Server 迁移到 MySQL 数据库的常用方法，根据数据量和需求选择合适方案： --- ### **一、导出/导入 CSV 文件（推荐大数据量）** 1. **从 SQL Server 导出 CSV** ```sql -- SQL Server 使用 bcp 工具导出 bcp "SELECT * FROM YourDatabase.dbo.YourTable" queryout "C:\data.csv" -c -t, -S YourServer -U YourUser -P YourPassword ``` *参数说明*： `-c` 字符格式，`-t,` 指定逗号为分隔符，`-S` 服务器地址。 2. **在 MySQL 中导入 CSV** ```sql -- MySQL 命令行 LOAD DATA INFILE '/path/data.csv' INTO TABLE YourMySQLTable FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 ROWS; -- 若CSV含标题行 ``` > **注意**： - 需确保文件路径有读取权限 - 检查字段顺序和数据类型匹配 --- ### **二、使用 Python 脚本迁移（灵活控制）** ```python import pyodbc # SQL Server import pymysql # MySQL from tqdm import tqdm # 进度条 # 连接配置 sqlserver_conn = pyodbc.connect('DRIVER={SQL Server};SERVER=xxx;DATABASE=xxx;UID=xxx;PWD=xxx') mysql_conn = pymysql.connect(host='xxx', user='xxx', password='xxx', database='xxx') # 批量读取并插入 def migrate_data(batch_size=1000): with sqlserver_conn.cursor() as src_cur: src_cur.execute("SELECT * FROM YourTable") with mysql_conn.cursor() as dest_cur: while True: rows = src_cur.fetchmany(batch_size) # 分批读取 if not rows: break # 构造批量插入语句（根据表结构修改） placeholders = ','.join(['%s'] * len(rows[0])) sql = f"INSERT INTO YourMySQLTable VALUES ({placeholders})" dest_cur.executemany(sql, rows) # 关键：批量操作 mysql_conn.commit() print(f"已插入 {len(rows)} 条") migrate_data() ``` > **优势**： > - 支持数据清洗和转换逻辑 > - 可处理复杂数据类型（如日期格式转换） > - 通过 `executemany` 实现高效批量插入[^1] --- ### **三、ETL 工具（自动化流程）** 1. **Pentaho Data Integration (Kettle)** - 图形化配置 SQL Server 输入 → 数据转换 → MySQL 输出 - 支持增量同步和错误处理 2. **SQL Server Integration Services (SSIS)** - 使用 "ADO.NET Destination" 连接 MySQL（需安装 [MySQL Connector/NET](https://dev.mysql.com/downloads/connector/net/)） - 适合企业级定时任务 --- ### **四、直接链接服务器（小规模数据）** 1. **在 MySQL 创建 Federated 表** ```sql CREATE TABLE federated_table ( id INT NOT NULL AUTO_INCREMENT, col1 VARCHAR(32) NOT NULL, PRIMARY KEY (id) ) ENGINE=FEDERATED CONNECTION='mysql://remote_user@remote_host:3306/remote_db/remote_table'; ``` > 限制：仅支持 MySQL 到 MySQL，不能直连 SQL Server。 2. **在 SQL Server 链接 MySQL** 通过 [ODBC Driver](https://dev.mysql.com/downloads/connector/odbc/) 创建链接服务器，然后用 `OPENQUERY` 插入： ```sql INSERT INTO OPENQUERY(MYSQL_LINK, 'SELECT col1, col2 FROM remote_table') SELECT colA, colB FROM sqlserver_table ``` --- ### **关键注意事项** 1. **数据类型映射** | SQL Server | MySQL | |-----------------|----------------| | `DATETIME` | `DATETIME(3)` | | `NVARCHAR(MAX)` | `LONGTEXT` | | `BIT` | `TINYINT(1)` | 2. **性能优化** - 迁移前在 MySQL 中**禁用索引**，完成后再重建 ```sql ALTER TABLE YourTable DISABLE KEYS; -- 导入数据... ALTER TABLE YourTable ENABLE KEYS; ``` - 大事务拆分为小批次提交（参考 Python 示例） 3. **数据一致性验证** ```sql -- 行数校验 SELECT COUNT(*) FROM sqlserver_table; SELECT COUNT(*) FROM mysql_table; -- 抽样校验 SELECT CHECKSUM_AGG(BINARY_CHECKSUM(*)) FROM sqlserver_table; ``` > 若需实时同步，可考虑 **Debezium** 或 **Maxwell** 监听 SQL Server 变更日志（binlog），写入 MySQL[^2]。 --- ### **相关问题** 1. 如何将 SQL Server 中的存储过程迁移到 MySQL？ 2. 迁移后出现中文乱码如何解决？ 3. 如何实现 SQL Server 到 MySQL 的增量实时同步？ 4. MySQL 中如何优化大表的数据插入速度？ [^1]: 通过构造批量插入语句提升效率，避免逐条提交事务。 [^2]: 使用 CDC（Change Data Capture）工具捕获增量变更。