大数据项目之电商数仓、Maxwell使用、 Maxwell启停脚本、增量数据同步、历史数据全量同步、采集通道Maxwell配置、通道测试

最新推荐文章于 2025-05-29 18:33:53 发布

原创

最新推荐文章于 2025-05-29 18:33:53 发布 · 2.3k 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #kafka #java #数据仓库 #zookeeper

本文档详细介绍了如何使用Maxwell工具进行业务数据采集，包括启动Kafka集群、管理Maxwell进程、配置Maxwell实现MySQL到Kafka的增量和全量数据同步，并提供了相应的配置文件示例和操作脚本。通过Maxwell-bootstrap进行历史数据全量同步，确保数据完整性。

文章目录

7. 业务数据采集模块

7. 业务数据采集模块

7.2 采集工具

7.2.4 Maxwell使用

7.2.4.1 启动Kafka集群

若Maxwell发送数据的目的地为Kafka集群，则需要先确保Kafka集群为启动状态。

7.2.4.2 Maxwell启停

7.2.4.2.1 启动Maxwell

[summer@hadoop102 maxwell-1.29.2]$ bin/maxwell --config config.properties --daemon

在这里插入图片描述

7.2.4.2.2 停止Maxwell

[summer@hadoop102 ~]$ ps -ef | grep maxwell | grep -v grep | grep maxwell | awk '{print $2}' | xargs kill -9

7.2.4.2.3 Maxwell启停脚本

7.2.4.2.3.1 创建并编辑Maxwell启停脚本

[summer@hadoop102 bin]$ vim mxw.sh

在这里插入图片描述

7.2.4.2.3.2 脚本内容如下

#!/bin/bash

MAXWELL_HOME=/opt/module/maxwell-1.29.2

status_maxwell(){
   
   
    result=`ps -ef | grep com.zendesk.maxwell.Maxwell | grep -v grep | wc -l`
    return $result
}


start_maxwell(){
   
   
    status_maxwell
    if [[ $? -lt 1 ]]; then
        echo "启动Maxwell"
        $MAXWELL_HOME/bin/maxwell --config $MAXWELL_HOME/config.properties --daemon
    else
        echo "Maxwell正在运行"
    fi