Maxwell系列：Maxwell采集Mysql到Kafka

原创

已于 2023-02-27 11:48:00 修改 · 1.7k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #maxwell

于 2023-02-27 11:46:12 首次发布

本文介绍了如何使用Maxwell从MySQL实时采集数据到Kafka，包括直接命令行启动和通过配置文件启动两种方式，适用于开发和生产环境。在生产环境中，讨论了Kafka分区控制以优化并发度。

Apache Hadoop生态-目录汇总-持续更新

1：直接命令行启动(开发环境使用)

1.1：创建topic（可忽略，默认会自动创建）

1.2：命令行方式启动maxwell采集通道

1.3：测试流程

2：通过配置文件启动maxwell(生产环境使用)

2.1：kafka的分区控制

2.2：启动maxwell采集通道

2.3：测试流程

Apache Hadoop生态-目录汇总-持续更新

系统环境：centos7

Java环境：Java8

1：直接命令行启动(开发环境使用)

1.1：创建topic（可忽略，默认会自动创建）

如果kafka的topic不存在，会自动创建单并行度topic

手动创建topic命令

kafka-topics.sh --zookeeper node100:2181/kafka --create --replication-factor 1 --partitions 1 --topic test_topic_db

查看topic

kafka-topics.sh --zookeeper node100:2181/kafka --list

1.2：命令行方式启动maxwell采集通道

cd /usr/local/maxwell-1.29.2
[root@node01 maxwell-1.29.2]# bin/maxwell --user='maxwell' --password='pw_maxwell' --host='192.168.1.100'  --producer=kafka --kafka.bootstrap.servers=192.168.1.100:9092 --kafka_