Elasticsearch使用Logstash导入Mysql多数据源数据

Elasticsearch使用Logstash同步单个Mysql数据库数据已经完成了,但是如果要同时同步多个数据源呢?此教程针对同时同步多个数据源,具体的配置文件先阅读上一篇文章,此篇是以上一篇为基础实现的。

上篇学习路径:Elasticsearch使用Logstash同步Mysql数据库数据

第一步、先进入logstash安装目录的bin目录,找到自己新建的mysql文件夹,编辑下面的mysql.config。

input {
   
    jdbc {
   
      # mysql 数据库链接,shop为数据库名
      jdbc_connection_string => "jdbc:mysql://39.96.21.*:3306/creatiae?serverTimezone=Asia/Shanghai&useSSL=true&useUnicode=true&characterEncoding=UTF-8"
      # 用户名和密码
      jdbc_user => "root"
      jdbc_password => "199201gxh"

      # 驱动(即是数据库连接驱动jar包的路径)
      jdbc_driver_library => "/usr/local/logstash/logstash-6.4.3/bin/mysql/mysql-connector-java-8.0.13.jar"

      # 驱动类名
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      # 执行的sql 文件路径+名称
      statement_filepath => "/usr/local/logstash/logstash-6.4.3/bin/mysql/jdbc.sql"

      # 设置监听间隔  各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
      #schedule => "* * * * *"

      # 索引类型
      type => "cm"
    }
}

filter {
   
    json {
   
        source => "message"
        remove_field 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值