maxwell同步mysql binlog至自建kafka集群

本文介绍如何使用Maxwell将MySQL的binlog同步至Kafka集群,包括配置mysql服务、Docker方式启动同步的详细步骤及注意事项,如监控、异常处理及配置参考。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

maxwell同步mysql binlog至自建kafka集群

配置mysql

服务器配置:确保已配置server_id,并且已打开基于行的复制。

$ vi my.cnf
[mysqld]
server_id=1
log-bin=master
binlog_format=row

docker方式启动同步

docker run -it --rm -d harbor.soulapp-inc.cn/soul-ops/maxwell:1.26.3 \
/bin/maxwell --log_level debug \
--host xxxxx \ 
--user xxx --password xxx \
--producer xxx \
--schema_database xxx \
--replication_host xxx \
--replication_user xxx 
--replication_password xxx \ 
--replication_port 3306 \ 
--output_ddl true \ 
--kafka.bootstrap.servers xxx:9092 \ 
--kafka_topic xxx \ 
--http_port 8111 \
--metrics_type http \
--metrics_jvm true

注意事项

  1. 保障程序稳定
    端口监控、日志监控、metrics监控、kafka写入监控
  2. 程序异常后保障服务可以重启
    supervisor、k8s部署、脚本拉起、docker拉起
  3. 异常情况:
    mysql主从切换、binlog过期

配置参考

http://maxwells-daemon.io/config/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值