Logstash使用template模板同步数据库(Oracle)数据到Elasticsearch中

leo_KING999

于 2020-01-08 15:29:36 发布

阅读量912

点赞数 1

分类专栏： ElasticSearch 文章标签： Logstash Oracle template

本文链接：https://blog.youkuaiyun.com/u010637366/article/details/103891344

版权

本文介绍了如何使用Logstash配合template模板，从Oracle数据库增量和全量同步数据到Elasticsearch。主要步骤包括下载Logstash，设置配置文件，编写SQL脚本，建立模板，并解决在同步过程中遇到的Oracle JDBC驱动问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、LogStash

1.1下载Logstash

Wget https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz
1.2项目结构

解压缩后项目结构为：
项目结构
其中我们需要手动添加oracle的jar包作为logstash的驱动。
1.3新增配置文件 logstash-test.conf

作用是：每秒增量更新，每分钟进行一次全量更新
删除的话，目前logstash没有策略实现。不过我们可以通过代码实现。比如说每隔一段时间，更换一次index。删除旧index，从而实现另类的删除同步。

input {
  jdbc {//每秒更新新增数据
    jdbc_driver_library => "/data/elasticsearch/logstash/ojdbc8.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@192.168.54.15:1521:ORCL"
    jdbc_user => "oracle"
    jdbc_password => "oracle"
    schedule => "* * * * * *"
    statement_filepath => "/data/elasticsearch/logstash/sql/

最低0.47元/天解锁文章