maxwell deamon 监听mysql binlog 二进制文件实现数据同步到

本文详细介绍如何使用Maxwell从MySQL同步数据至Kafka。包括下载Maxwell与MySQL,配置MySQL的binlog,创建Maxwell专用账户,解决MySQL 8.0认证问题,以及启动Maxwell的具体步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1:首先下载maxwell https://github.com/zendesk/maxwell/releases/download/v1.24.1/maxwell-1.24.1.tar.gz

(这玩意下的很慢,建议去论坛找)

2:下载安装mysql (安装mysql比较简单自行查找)

3:给你的mysql配置文件里加上 binlog配置 

[mysqld]
server_id=1
log-bin=master
binlog_format=row

还有一种配置方式,在mysql启动后执行以下命令:

mysql> set global binlog_format=ROW;
mysql> set global binlog_row_image=FULL;

4:maxwell读取binlog需要一个账号,那么我们就在mysql里面为maxwell配置一个账号

mysql> CREATE USER 'maxwell'@'%' IDENTIFIED BY 'XXXXXX';
mysql> GRANT ALL ON maxwell.* TO 'maxwell'@'%';
mysql> GRANT SELECT, REPLICATION CLIENT, REPLICATION SLAVE ON *.* TO 'maxwell'@'%';

 5:运行你的maxwell

进入到你下载解压的maxwell文件夹里执行下面的命令

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

注意:如果你是mysql8.0,会报出以下错误:com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client 

出现上述问题的原因是:mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password 把mysql用户登录密码加密规则还原成mysql_native_password

解决方案:在mysql中执行以下命令

alter user 'maxwell'@'%' identified with mysql_native_password by 'XXXXXX';  修改认证规则

flush privileges;  刷新权限

之后重新运行一遍

bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' --producer=stdout

--user mysql数据库用户名
--password  mysql数据库密码
--host mysql 数据库服务器
--producer  指定数据输出到哪里
# 以上为必须要的,以下的kafka相关的是以kafka方式启动时需要的参数,kafka相关分区参数在此未指定
--kafka.bootstrap.servers 指定kafka地址
--kafka_topic  指定kakfa的topic是哪一个
# 以下可选
--daemon  守护进程 后台运行
--filter  过滤条件,可以过滤数据库,表,列等等
 

6:出现binlog cennected 你会发现maxwell启动成功

7:我在mysql创建了一个表

 再看maxwell的控制台

教程到此完结! 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值