logstash增量同步mysql数据到elasticsearch

Legendary灬

于 2018-06-03 14:44:53 发布

阅读量8.9k

点赞数 3

分类专栏： java 文章标签： elasticsearch es logstash

本文链接：https://blog.youkuaiyun.com/qq_16272049/article/details/80556549

版权

java 专栏收录该内容

39 篇文章

订阅专栏

本文介绍了如何通过logstash实现对MySQL数据的增量同步到Elasticsearch。首先，下载与Elasticsearch相同版本的logstash，接着配置test.conf文件，设置输入源为jdbc，并指定MySQL连接信息、用户名、密码以及增量同步的关键参数，如记录最后运行状态的文件路径、追踪列和SQL语句。启动logstash后，它会根据设置的计划定期执行，每次同步时利用上一次的id作为起点，实现增量更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  1.下载和es相同版本的logstash 

  我的es版本为5.4.0 所以下载logstash版本也是5.4.0 

  2.解压logstash 

  3.在config文件夹下创建test.conf配置文件 

  input { 

  stdin { 

}

  jdbc { 

  type => "xxx" 

  jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx" 

  jdbc_user => "root" 

  jdbc_password => "xxxx" 

 
  record_last_run => true 

 
  use_column_value => true 

 
  tracking_column => "id" 

 
  last_run_metadata_path => "/etc/logstash/run_metadata.d/my_info" 

  clean_run => "false" 

  jdbc_driver_library => "/app/es/elasticsearch-5.4.0/lib/mysql-connector-java-5.1.38.jar" 

  jdbc_driver_class => "com.mysql.jdbc.Driver" 

  jdbc_paging_enabled => true 

  jdbc_page_size => "500" 

  statement => "select * from xxx where id > 
 :sql_last_value" 

  schedule => "* * * * *" 

}

}

 
 注意标红色的部分：这些配置是为了达到增量同步的目的，每次同步结束之后会记录最后一条数据的tracking_column列，比如我们这设置的是id，就会将这个值记录在last_run_metadata_path中。 

  下次在执行同步的时候会将这个值，赋给sql_last_value 

  4.启动logstash 

  ./logstash -f ../config/test.conf 