logstash jdbc同步mysql多表数据到elasticsearch

kse_music

已于 2025-04-09 23:23:00 修改

阅读量4.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： # DB 文章标签： mysql elasticsearch logstash jdbc 索引

于 2017-11-15 17:38:36 首次发布

本文链接：https://blog.youkuaiyun.com/dh798417147/article/details/78543245

DB 专栏收录该内容

13 篇文章

订阅专栏

本文介绍如何使用Logstash从两个不同的MySQL数据库中同步数据到Elasticsearch。通过配置Logstash的输入插件连接MySQL，筛选更新的数据，并设置输出插件将数据发送到指定的Elasticsearch索引。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

在当今数据驱动的时代，海量的日志、事件和指标数据源源不断地从各类系统、应用和设备中产生。如何高效地采集、解析、存储和分析这些数据，成为企业实现运维监控、业务洞察和安全分析的关键挑战。

Logstash 作为 Elastic Stack（ELK）生态的核心组件之一，扮演着“数据管道”的重要角色。它能够从多样化数据源实时采集信息，并通过灵活的过滤规则进行清洗、转换和丰富，最终将结构化数据高效地输送至目标存储或分析平台（如 Elasticsearch）。无论是日志聚合、实时监控，还是复杂的事件处理，Logstash 都以其强大的扩展性和插件化设计，成为数据处理流程中不可或缺的工具。

一、logstash 是什么？

Logstash 是一个开源的服务器端数据处理管道工具，由 Elastic 公司开发（原属于 Elastic Stack 生态，简称 ELK Stack）。它主要用于收集、解析、转换和传输来自不同来源的日志或事件数据，并将其发送到目标存储或分析系统（如 Elasticsearch）。

二、使用步骤

1.环境准备

elasticsearch5.5.3
logstash5.5.3
mysql5.6.37
mysql表中必须有时间戳字段

2.测试条件

同步两张表数据到索引

以表名作为es索引名称
以表的注解id作为es的object id

3.logstash配置文件

dbToEs.conf

input {
   jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.1.151:3306/mydb"
    jdbc_user => "root"
    jdbc_password => "root@hiekn"
    schedule => "* * * * *"
    statement => "SELECT * from tb_user where lastModifyTime > :sql_last_value"
    add_field => { "[@metadata][type]" => "mydb" } 
  }
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.36.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://192.168.1.151:3306/mydb2"
    jdbc_user => "root"
    jdbc_password => "root@hiekn"
    schedule => "* * * * *"
    statement => "SELECT * from tb_user where lastModifyTime > :sql_last_value"
    add_field => { "[@metadata][type]" => "mydb2" } 
  }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
    mutate  {
        remove_field => ["@timestamp","@version"]
    }
}

output {
    if [@metadata][type] == "mydb" {
       elasticsearch {
            hosts => [ "192.168.1.157:9200" ]
            #manage_template => false
            index => "mydb"
            document_id => "%{id}"
            document_type => "mydb_data"
        }
    } else if [@metadata][type] == "mydb2"{
        elasticsearch {
            hosts => [ "192.168.1.157:9200" ]
            index => "mydb2"
            document_id => "%{id}"
            document_type => "mydb2_data"
        }
    }
}