ELK增量同步数据【MySql-＞ES】

原创

已于 2023-07-04 16:18:57 修改 · 1.3k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#elk #elasticsearch

于 2023-06-30 16:27:08 首次发布

文章介绍了如何在已有的Logstash、Elasticsearch和Kibana环境中，配置Logstash从MySQL数据库通过jdbc插件抽取数据，并使用IK分词器进行中文分词，同时详细展示了配置文件的内容和作用，以及如何验证索引的映射和分词效果。

一、前置条件

1. linux，已经搭建好的logstash+es+kibana【系列版本7.0X】，es 的plugs中安装ik分词器

ES版本：

Logstash版本：

（以上部署，都是运维同事搞的，我不会部署，同事给力）

二、编写Logstash.sh 执行文件

1、在Logstash安装目录下【/usr/share/logstash】，新建XX.sh，内容如下：

/usr/share/logstash/bin/logstash --path.data /usr/share/logstash/case-conf -e 'input {
 jdbc {
    jdbc_driver_library => "/var/local/logstash/etc/lib/mysql-connector-java-8.0.15.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://IP:端口号/数据库?serverTimezone=Asia/Shanghai&autoReconnect=true&allowMultiQueries=true&zeroDateTimeBehavior=convertToNull&characterEncoding=utf8&useSSL=false&tinyInt1isBit=false"
    jdbc_user => "用户名"
    jdbc_password => "密码"
    schedule => "* * * * *"
    use_column_value => true
    tracking_column => "update_at"
    tracking_column_type => "numeric"
    last_run_metadata_path => "/usr/share/logstash/case-last"
statement_filepath => "/usr/share/logstash/case_.sql"
  }
}

output {
  elasticsearch {
    hosts => ["es1:9206","es2:9207","es3:9208"]
	action=>"index"
    index => "case"
    document_id => "%{case_id}"
    template => "/usr/share/logstash/template-case.json"
	template_name=>"template-case.json"
	template_overwrite=>true
    }
}'

2. 在Logstash安装目录下【/usr/share/logstash】,新建case.sql文件：查询字段，根据业务要求书写，不需要全字段查询

SELECT * FROM 表名称 where update_at > :sql_last_value

where条件中的，update_at 是表更新时间，与case.sh 中的

最低0.47元/天解锁文章