logstash 配置文件详解

最新推荐文章于 2025-06-19 11:12:25 发布

原创最新推荐文章于 2025-06-19 11:12:25 发布 · 3.2k 阅读

8 ·

CC 4.0 BY-SA版权

java开发同时被 2 个专栏收录

56 篇文章

订阅专栏

logstash

1 篇文章

订阅专栏

1：

bin / logstash -f second-pipeline.conf --config.test_and_exit

该--config.test_and_exit选项会解析您的配置文件并报告任何错误。当配置文件通过配置测试时，使用以下命令启动 Logstash：

bin / logstash -f second-pipeline.conf

2：

bin / logstash -f first-pipeline.conf --config.reload.automatic

该--config.reload.automatic选项启用自动配置重新加载，因此您不必在每次修改配置文件时停止并重新启动Logstash。

3、file源的解析

input{
file{
#path属性接受的参数是一个数组，其含义是标明需要读取的文件位置
path => [‘pathA’，‘pathB’]
#表示多就去path路径下查看是够有新的文件产生。默认是15秒检查一次。
discover_interval => 15
#排除那些文件，也就是不去读取那些文件
exclude => [‘fileName1’,‘fileNmae2’]
#被监听的文件多久没更新后断开连接不在监听，默认是一个小时。
close_older => 3600
#在每次检查文件列表的时候，如果一个文件的最后修改时间超过这个值，就忽略这个文件。默认一天。
ignore_older => 86400
#logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。
stat_interval => 1
#sincedb记录数据上一次的读取位置的一个index
sincedb_path => ’$HOME/. sincedb‘
#logstash 从什么位置开始读取文件数据，默认是结束位置也可以设置为：beginning 从头开始
start_position => ‘beginning’
#注意：这里需要提醒大家的是，如果你需要每次都从同开始读取文件的话，关设置start_position => beginning是没有用的，你可以选择sincedb_path 定义为 /dev/null
}

}

4：jdbc详解

input{
jdbc{
#jdbc sql server 驱动,各个数据库都有对应的驱动，需自己下载
jdbc_driver_library => ""
#jdbc class 不同数据库有不同的 class 配置
jdbc_driver_class => ""
#配置数据库连接 ip 和端口，以及数据库
jdbc_connection_string => ""
#配置数据库用户名
jdbc_user =>
#配置数据库密码
jdbc_password =>
#上面这些都不重要，要是这些都看不懂的话，你的老板估计要考虑换人了。重要的是接下来的内容。
# 定时器多久执行一次SQL，默认是一分钟
# schedule => 分时天月年
# schedule => * 22 * * * 表示每天22点执行一次
schedule => "* * * * *"
#是否清除 last_run_metadata_path 的记录,如果为真那么每次都相当于从头开始查询所有的数据库记录
clean_run => false
#是否需要记录某个column 的值,如果 record_last_run 为真,可以自定义我们需要表的字段名称，
#此时该参数就要为 true. 否则默认 track 的是 timestamp 的值.
use_column_value => true
#如果 use_column_value 为真,需配置此参数. 这个参数就是数据库给出的一个字段名称。当然该字段必须是递增的，可以是数据库的数据时间这类的
tracking_column => create_time
#是否记录上次执行结果, 如果为真,将会把上次执行到的 tracking_column 字段的值记录下来,保存到 last_run_metadata_path 指定的文件中
record_last_run => true
#们只需要在 SQL 语句中 WHERE MY_ID > :last_sql_value 即可. 其中 :last_sql_value 取得就是该文件中的值
last_run_metadata_path => "/etc/logstash/run_metadata.d/my_info"
#是否将字段名称转小写。
#这里有个小的提示，如果你这前就处理过一次数据，并且在Kibana中有对应的搜索需求的话，还是改为true，
#因为默认是true，并且Kibana是大小写区分的。准确的说应该是ES大小写区分
lowercase_column_names => false
#你的SQL的位置，当然，你的SQL也可以直接写在这里。
#statement => SELECT * FROM tabeName t WHERE t.creat_time > :last_sql_value
statement_filepath => "/etc/logstash/statement_file.d/my_info.sql"
#数据类型，标明你属于那一方势力。单了ES哪里好给你安排不同的山头。
type => "my_info"
}
#注意：外载的SQL文件就是一个文本文件就可以了，还有需要注意的是，一个jdbc{}插件就只能处理一个SQL语句，
#如果你有多个SQL需要处理的话，只能在重新建立一个jdbc{}插件。
}

5：output 详解

output {
//输入到es集群中，当hosts 参数列出多个IP地址时，Logstash会在地址列表中对请求进行负载平衡。另请注意，Elasticsearch的默认端口是，9200并且可以在上面的配置中省略。
    elasticsearch { 
        hosts => ["IP Address 1:port1", "IP Address 2:port2", "IP Address 3"]
    }
//写入文件
    file {
        path => "/path/to/target/file"
    }
//以json格式输出到控制台
    stdout { codec => json_lines } 
}