MaxWell监控本地数据库/RDS数据库的配置与使用

MaxWell监控本地数据库/RDS数据库的配置与使用

背景：maxwell的核心原理是根据mysql的binlog，模拟mysql的从机，通过监控binlog的变化来进行数据的同步传输工作
步骤：maxwell监控指定目标的mysql数据库，写入数据到kafka/redis，通过传输工具进行同步更新数据

第一步 安装

# 备注 maxwell1.30不支持java8
# 下载 https://github.com/zendesk/maxwell/releases/download/v1.29.2/maxwell-1.29.2.tar.gz
# 解压，并改名
tar -zxvf maxwell-1.29.2.tar.gz -C /var
mv maxwell-1.29.2 maxwell

第二步 配置环境变量

vim /etc/profile.d/env.sh

# MAXWELL_HOME
export MAXWELL_HOME=/var/maxwell
export PATH=$PATH:$MAXWELL_HOME/bin

第二步 配置binlog

备注：Maxwell要求binlog采用Row-based模式

方式一 mysql数据库在物理机

# 修改MySQL配置文件/etc/my.cnf
sudo vim /etc/my.cnf
# 修改配置参数
[mysqld]
#数据库id
server-id = 1
#启动binlog，该参数的值会作为binlog的文件名
log-bin=mysql-bin
#binlog类型，maxwell要求为row类型
binlog_format=row
#启用binlog的数据库，需根据实际情况作出修改
binlog-do-db=test1

方式二 mysql数据库为阿里云RDS

阿里云的RDS默认自动开启binlog且为row模式，binlog相关无需