Elasticsearch使用Logstash同步Mysql多数据源数据
Elasticsearch使用Logstash同步单个Mysql数据库数据已经完成了,但是如果要同时同步多个数据源呢?此教程针对同时同步多个数据源,具体的配置文件先阅读上一篇文章,此篇是以上一篇为基础实现的。
上篇学习路径:Elasticsearch使用Logstash同步Mysql数据库数据
第一步、先进入logstash安装目录的bin目录,找到自己新建的mysql文件夹,编辑下面的mysql.config。
input {
jdbc {
# mysql 数据库链接,shop为数据库名
jdbc_connection_string => "jdbc:mysql://39.96.21.*:3306/creatiae?serverTimezone=Asia/Shanghai&useSSL=true&useUnicode=true&characterEncoding=UTF-8"
# 用户名和密码
jdbc_user => "root"
jdbc_password => "199201gxh"
# 驱动(即是数据库连接驱动jar包的路径)
jdbc_driver_library => "/usr/local/logstash/logstash-6.4.3/bin/mysql/mysql-connector-java-8.0.13.jar"
# 驱动类名
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# 执行的sql 文件路径+名称
statement_filepath => "/usr/local/logstash/logstash-6.4.3/bin/mysql/jdbc.sql"
# 设置监听间隔 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
#schedule => "* * * * *"
# 索引类型
type => "cm"
}
}
filter {
json {
source => "message"
remove_field