Logstash导入数据到ElasticSearch

最新推荐文章于 2024-07-15 20:16:33 发布

weixin_33955681

最新推荐文章于 2024-07-15 20:16:33 发布

阅读量120

点赞数

CC 4.0 BY-SA版权

文章标签：大数据数据库 java

原文链接：http://www.cnblogs.com/zhaikaixuan/p/8883857.html

本文介绍如何在Windows环境下使用Logstash的JDBC插件实现Oracle数据库的增量同步，包括配置步骤、SQL语句编写及注意事项。

一：在Windows环境

　　1 下载解压Logstash的压缩包

　　2 在Logstash的压缩包中安装Logstash-jdbc-input插件：

　　　　在Bin命令行下运行命令： .\logstash-plugin install logstash-jdbc-input

　　　　及可以安装成功，（该插件主要是用来进行增量同步时记录跟踪数值的最大值或者时间的最新时间）

2 将oracle的驱动放入Logstash的解压包中

3 在Logstash的包中创建jdbc.conf

3.1 Logstash的jdbc.conf基本结构：

input {
   stdin { }
       jdbc {
           jdbc_driver_library => "E:\es\logstash-6.2.4\ojdbc14-10.2.0.4.0.jar"
           jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
           jdbc_connection_string => "jdbc:oracle:thin:@//60.205.228.254:1521/orcl"
           jdbc_user => "DJP"
           jdbc_password=> "123456"
           schedule => "* * * * *"
           statement_filepath => "E:\es\logstash-6.2.4\sql\demon.sql"
           #是否记录上次Logstash的运行的时间
           last_run_metadata_path => "E:\es\logstash-6.2.4\status\last_time.txt"
           #是否强制导入的字母的大小写默认为true 强制为小写
           # lowercase_column_names => false
           #是否保存上次运行的状态，不保存在last_run_metadata_path中
           #record_last_run =>
           # 是否跟踪某个字段的值
           use_column_value => true
           tracking_column => id
           #设置跟踪字段的类型 number和Timetape类型
           #tracking_column_type =>“”

           }
}
output {
elasticsearch {
   index => "addIndex02"
    hosts => ["193.112.52.129:9200"]
   }
stdout { codec => rubydebug }
}