Maxwell安装与配置

Maxwell安装与配置

maxwell 是由美国zendesk开源，用java编写的Mysql实时抓取软件。其抓取的原理也是基于binlog。
点击此处跳转Maxwell官网
参考文章如下链接
链接: Maxwell参考文章
附上本人下载好的安装包
链接：百度网盘下载连接
提取码：1234

上传maxwell安装包到指定路径

解压：

tar -zxvf ./maxwell-1.10.7.tar.gz

拷贝一份原始配置文件

cp ./config.properties.example  ./config.properties

修改配置文件

vim config.properties

修改或添加如下配置

配置选项	配置说明
producer=kafka	实时监控到的日志发送到kafka生产者
kafka.bootstrap.servers= srv191:9092,srv192:9092,srv193:9093	配置的本地kafka节点IP地址以及端口号，kafka默认端口号9092
host=xx.xx.xx.xx	本地Mysql安装节点IP地址
user=*******	用户名
password=******	用户密码（按照自己设置输入）
kafka_topic=kafka	实时监控到的日志数据发送kafkaTopic下（默认发送maxwell）
include_dbs=test	过滤除test数据库下所有日志数据
include_tables=表名,表名	可以指定不需要过滤日志数据的表名

Mysql配置：

登陆mysql

mysql -u.... -p.....

创建maxwell初试化数据存储库

create database maxwell

创建用户

grant all privileges on *.* to maxwell@localhost identified by '123456';

修改权限

GRANT ALL PRIVILEGES ON *.* TO 'maxwell'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'maxwell'@'srv191' IDENTIFIED BY '123456' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'maxwell'@localhostIDENTIFIED BY '123456' WITH GRANT OPTION;

刷新配置

flush privileges;

查看权限

SELECT User, Host, authentication_string FROM mysql.user;

启动maxwell

进入bin目录下

./maxwell --conf ../config.properties

执行如果报错，查看kakfa 中是否有指定的Topic

Kafka命令

这里命令是基于CDH集群环境执行kafka命令
关于kakfa 完全删除Kafka以及zookeeperTopic参考本篇文章链接

创建topic

kafka-topics --zookeeper **.**.**.**:2181,**.**.**.**:2181,**.**.**.**:2181 --create --topic kafka --partitions 3 --replication-factor 1 

启动生产者

kafka-console-producer --broker-list srv191:9092,srv192:9092,srv193:9092 --topic kafka 

启动消费者

kafka-console-consumer --bootstrap-server srv191:9092,srv192:9092,srv193:9092 --topic kafka --from-beginning

查看所有topic

kafka-topics --list --zookeeper **.**.**.**:2181,**.**.**.**:2181,**.**.**.**:2181

删除topic

kafka-topics --delete --zookeeper **.**.**.**:2181,**.**.**.**:2181,**.**.**.**:2181 --topic kafka 

查看所有topic表结构

kafka-topics --describe --zookeeper **.**.**.**:2181,**.**.**.**:2181,**.**.**.**:2181

CDH配置Kafka

把以下选项关闭

默认是开启状态，删除kafka指定Topic它会自动重新创建