logstash json和rubydebug 第次重启logstash都会把所有的日志读完　而不是只读入新输入的内容...

最新推荐文章于 2025-06-25 09:27:42 发布
转载 最新推荐文章于 2025-06-25 09:27:42 发布 · 254 阅读 · 0
文章标签：

#json #操作系统 #shell

本文详细介绍了如何使用Logstash进行日志收集配置，重点解释了shipper配置文件中的关键参数，如start_position和sincedb_path的作用及配置方法，并展示了不同输出格式的效果。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

查看一下agent端的shipper的配置：

# cat logstash_test2.shipper.conf 
input { 
    file { 
        path => ["/apps/logstash/conf/test/test2_log.txt"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
     }
 }
output { 
    stdout { 
        #codec => rubydebug
        codec => json
     }
 }
#这个测试主要是看输出的格式为json的

先简测一下刚配好的shipper：

# ./../bin/logstash -f logstash_test2.shipper.conf -t
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
Configuration OK
[2016-12-08T18:14:27,771][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash

可以看到没有报错，接下来启动logstash并指定刚才配置好的配置文件：

# ./../bin/logstash -f logstash_test2.shipper.conf -t
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
Configuration OK
[2016-12-08T18:14:27,771][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash
[root@Appsrv130 conf]# ./../bin/logstash -f logstash_test2.shipper.conf 
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
[2016-12-08T18:19:13,056][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-12-08T18:19:13,085][INFO ][logstash.pipeline        ] Pipeline main started
[2016-12-08T18:19:13,165][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9601}
{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.102Z","@version":"1","host":"ofs1","message":"haha------>","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.113Z","@version":"1","host":"ofs1","message":"haha------>2","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.118Z","@version":"1","host":"ofs1","message":"haha------>3","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.121Z","@version":"1","host":"ofs1","message":"haha------>3","tags":[]}

再看看所监控的log日志的内容：

# cat test/test2_log.txt 
haha------>
haha------>2
haha------>3
haha------>3

发现 这个shipper启动的时候会从头到尾，把配置文件全读一边（这种效里也是从配置文件中配置好的）

再看一下这个配置文件：

# cat logstash_test2.shipper.conf 
input { 
    file { 
        path => ["/apps/logstash/conf/test/test2_log.txt"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
     }
 }
output { 
    stdout { 
        #codec => rubydebug
        codec => json
     }
 }
#要点就是这行sincedb_path =>"/dev/null"了！该参数用来指定sincedb文件名，但是如果我们设置为/dev/null这个linux系统上特殊的空洞文件，
那么logstash每次重启进程的时候，尝试读取sincedb内容，都只会读到空洞，也就可以理解为前不有过运行记录，自然就从初始位置开始读取了！

下面往监控文件里写入内容时，会发生下面变化：

# echo "查看json格式是什么输出－－－－－－－》">>test/test2_log.txt

再看一下输出的内容：

# ./../bin/logstash -f logstash_test2.shipper.conf -t
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
Configuration OK
[2016-12-08T18:14:27,771][INFO ][logstash.runner          ] Using config.test_and_exit mode. Config Validation Result: OK. Exiting Logstash
[root@Appsrv130 conf]# ./../bin/logstash -f logstash_test2.shipper.conf 
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
[2016-12-08T18:19:13,056][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-12-08T18:19:13,085][INFO ][logstash.pipeline        ] Pipeline main started
[2016-12-08T18:19:13,165][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9601}
{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.102Z","@version":"1","host":"ofs1","message":"haha------>","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.113Z","@version":"1","host":"ofs1","message":"haha------>2","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.118Z","@version":"1","host":"ofs1","message":"haha------>3","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T10:19:13.121Z","@version":"1","host":"ofs1","message":"haha------>3","tags":[]}{"path":"/apps/logstash/conf/test/test2_log.txt","@timestamp":"2016-12-08T11:17:45.060Z","@version":"1","host":"ofs1","message":"查看json格式是什么输出－－－－－－－》","tags":[]}

修改配置文件：

# cat logstash_test2.shipper.conf 
input { 
    file { 
        path => ["/apps/logstash/conf/test/test2_log.txt"]
        start_position => "beginning"
        sincedb_path => "/dev/null"
     }
 }
output { 
    stdout { 
        codec => rubydebug　#查看这种格式的日志输出
        #codec => json
     }
 }

查看日志:

# echo "查看rubydebug格式是什么输出－－－－－－－》">>test/test2_log.txt 
# ./../bin/logstash -f logstash_test2.shipper.conf 
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
[2016-12-08T19:22:37,214][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-12-08T19:22:37,260][INFO ][logstash.pipeline        ] Pipeline main started
[2016-12-08T19:22:37,338][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9601}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:22:37.290Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "haha------>",
          "tags" => []
}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:22:37.299Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "haha------>2",
          "tags" => []
}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:22:37.301Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "haha------>3",
          "tags" => []
}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:22:37.302Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "haha------>3",
          "tags" => []
}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:22:37.303Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "查看json格式是什么输出－－－－－－－》",
          "tags" => []
}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-08T11:24:32.415Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "查看rubydebug格式是什么输出－－－－－－－》",
          "tags" => []
}

 如果去掉上面的两个参数，看一下效果:

# cat logstash_test2.shipper.conf 
input { 
    file { 
        path => ["/apps/logstash/conf/test/test2_log.txt"]
        #start_position => "beginning"
        #sincedb_path => "/dev/null"
     }
 }
output { 
    stdout { 
        codec => rubydebug
        #codec => json
     }
 }

从另一个shell可以看到效果：

# ./../bin/logstash -f logstash_test2.shipper.conf 
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
[2016-12-09T13:27:59,792][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-12-09T13:27:59,865][INFO ][logstash.pipeline        ] Pipeline main started
[2016-12-09T13:27:59,960][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9601}

先导入数据:

echo '去掉参数start_position => "beginning" sincedb_path => "/dev/null"' >>test/test2_log.txt

下面看一下效果:

# ./../bin/logstash -f logstash_test2.shipper.conf 
Sending Logstash's logs to /apps/logstash/logs which is now configured via log4j2.properties
[2016-12-09T13:41:38,860][INFO ][logstash.pipeline        ] Starting pipeline {"id"=>"main", "pipeline.workers"=>4, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>5, "pipeline.max_inflight"=>500}
[2016-12-09T13:41:38,881][INFO ][logstash.pipeline        ] Pipeline main started
[2016-12-09T13:41:38,964][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9601}
{
          "path" => "/apps/logstash/conf/test/test2_log.txt",
    "@timestamp" => 2016-12-09T05:45:53.155Z,
      "@version" => "1",
          "host" => "ofs1",
       "message" => "去掉参数start_position => \"beginning\" sincedb_path => \"/dev/null\"",
          "tags" => []
}

 

logstash+grok+json+elasticsearch解析复杂日志数据(二)
cuixuange的博客
10-19 9327
接着上面一篇来说，这篇主要介绍logstash处理实时数据问题，日志数据更新时，logstash处理方式是默认每15s检查一次文件夹，每5秒检查一次文件，这些参数可以改变的。遇到当处理较多批次数据时，logstash出现卡死状态的原因，我目前猜测是输入文件较多logstash处理很快，而输出插件input elasticsearch这个插件线程限制，导致的死锁问题，后面详细说。最后展示一下ki
日志系统ELK使用详解(二)--Logstash安装和使用
BuquTianya的专栏
05-14 1万+
概述在开始之前先说一下Logstash的使用和熟悉路线图。接触ELK的时候不能图快，可以尝试着一部分一部分的安装起来熟悉，之后再逐个组装到一起，看效果。
ruby-debug命令详解
06-30
ruby-debug命令详解~~~~~~~~~~~~~~~~~~~~~
logstash的rubydebug调试说明
房馥的技术博客
04-01 6513
output { stdout { codec => rubydebug } } 网上很多文章提到rubydebug这个词，但是没有解释怎么用。 codec=>rubydebug 在logstash的旧版本中，通常我们会这么用： bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydeb...
在 Logstash 中使用 Ruby 脚本
最新发布
Elastic 中国社区官方博客
06-25 1593
摘要：本文介绍了Logstash中Ruby filter插件的使用方法，用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码，适用于标准过滤器无法处理的复杂场景，如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法，并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力，能够满足各种复杂数据处理需求。
logstash 调试 rubydebug 输出查看方法, 去除输出
loveLifeLoveCoding的博客
09-18 1300
需要后面使用 --verbose --debug。这样直接在前台启动,便可以看到日志输出到终端.注意： 生产环境严禁使用 stdout。在生产上去除上述代码即可。
Logstash：使用 Ruby 过滤器
Elastic 中国社区官方博客
08-12 8984
Logstash 具有丰富的过滤器集，你甚至可以编写自己的过滤器，但是由于没有现成的过滤器，你可以直接将 Ruby 代码 入配置文件中，因此通常不必创建自己的过滤器。 使用 logstash-filter-ruby，你可以使用Ruby字符串操作的所有功能来解析奇异的正则表达式，不完整的日期格式，写入文件，甚至进行 Web 服务调用。 Logstash 安装 如果你从来没有安装过自己的 Logstash，你可以参考我之前的文章 “如何安装 Elastic 栈中的 Logstash” 来进行安装。 .
Logstash
ponywmm的博客
03-25 639
logstash、ES、
logstash6.2.1
02-09
例如，`file` 输入插件可以实时监控日志文件的变化，将新增的日志行读入 Logstash 进行处理。 - 在 6.2.1 版本中，可能包含对多种输入格式的支持，包括 JSON、CSV 和自定义格式，以适应不同的日志生成环境。 2. **...
Logstash分析nginx日志
每天进步一点点！！！
07-04 640
Logstash分析nginx日志 文章目录Logstash分析nginx日志1 日志转化格式及步骤1.将nginx普通日志转换为json2.将nginx日志的时间格式进行格式化输出3.将nginx日志的来源ip进行地域分析4.将nginx日志的user-agent字段进行分析5.将nginx日志的bytes修改为整数6.移除没用的字段，message、headers 将日志先读入到filebeat（filebeat安装在装有nginx机器中）中，然后filebeat在输出到logstash中，logsta
大厂消息中间件高频面试题与知识点整理（RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ）
热门推荐
张彦峰的博客
04-07 172万+
互联网高频面试之消息中间件基本问题和知识点整理分析
Logstash的调试提示
dlz00001的博客
06-09 432
作为Java开发人员，当首次向您展示如何在调试模式下运行JVM，将其附加并设置断点时，您真的感觉自己已经走上了开发人员的第一步。 好吧，至少我做到了。 现在，世界正在全面使用微服务，并且知道这种窍门意味着每天越来越少。 本周，我在与Logstash一起玩，看看如何将所有应用程序异常发送到Elasticsearch实例，以便将它们显示在Kibana仪表板上以进行分析。 当然，起初在Elast...
Logstash：Logstash 入门教程 （二）
Elastic 中国社区官方博客
05-08 3万+
这是之前系列文章“Logstash：Logstash 入门教程 （一）”的续集。在之前的文章中，我们详细地介绍了Logstash是什么？在今天的文章中，我们将详细介绍如果使用Logstash，并把 Apache Web log导入到 Elasticsearch中。在这篇文章中，我们将触及到如下的过滤器： Grok Geoip Useragent Date Mutate 安装 Elastic.........
logstash input output filter 插件总结
yesicatt的博客
08-03 3万+
Logstash学习记录 官方文档logstash2.3 document： https://www.elastic.co/guide/en/logstash/current/index.html 一：什么是Logstash 1. logstash 是什么？ Logstash 是有管道输送能力的开源数据收集引擎。它可以动态地从分散的数据源收集数据，并且标准化数据输送到你选择的目的地。
让Logstash每次都从头读文件
很多时候，你缺少的不是知识而是热情
03-02 1万+
input { file { path => ["/data/test.log"] start_position => "beginning" sincedb_path => "/dev/null" } } output { stdout { codec => rubydebug } } 要点就在这行
logstash使用之json输入输出
落叶下的光
11-24 2万+
概述如果发送给logstash的数据内容为json格式,那么可以通过解析json内容,根据具体内容生成字段.方便分析和储存,比如:有一个json内容为: {"name":"nihao"},我们需要获取这个记录然后通过logstash分析后,放到mysql数据库中.一个简单的logstash输出内容为:{ "@version" => "1", "host" => "lo
logstash利用ruby语言写复杂的处理逻辑
格物致知
09-21 1万+
在应用中，需要对logstash读取的数据进行字符判断、字符串截取等操作。同时也需要用到正则表达式对某些匹配字符进行替换。 直接上配置文件逻辑：input{ stdin{ # codec=>rubydebug } } filter{ # codec=>rubydebug mutate{ split=>["message"," "] add_
Logstash的使用以及语法格式
菜鸟也学大数据的博客
09-07 1415
Logstash的启动方式 第一种：logstah绝对路径/bin/logstash -e ‘input { stdin { } } output { stdout { } }’ 第二种：logstah绝对路径/bin/logstash -f 配置文件 Logstash的语法格式 标准结构： input { stdin {} } output { stdout {} } 设置输出格式： input { stdin {} } output { #输出格式常用的有json、rub
Logstash v6.8.12：强大的日志管理与搜索平台
资源摘要信息:"Logstash日志管理系统 v6.8.12" 知识点： 1. Logstash概述： Logstash是ELK（Elasticsearch、Logstash、Kibana）技术栈的重要组成部分，主要负责数据的收集和处理。Logstash可以对来自不同来源的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值