logstash实现分布式日志收集

最新推荐文章于 2025-04-01 20:19:17 发布

Allen-Han

最新推荐文章于 2025-04-01 20:19:17 发布

阅读量6.4k

点赞数

分类专栏：分布式

本文链接：https://blog.youkuaiyun.com/u013036068/article/details/52859434

版权

2 篇文章

订阅专栏

本文介绍了如何使用Logstash 2.0.0在Linux环境下实现分布式日志收集。通过配置shipper.conf监控多台机器上的日志文件，并将日志发送到Redis，再由indexer.conf从Redis接收日志并统一写入到指定文件，从而达到集中管理日志的目的。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

 
   1、logstash的目前的最新版本是2.0.0，建议安装在Linux平台，虽然它也支持Windows平台，但可能会有问题

 
   下载：

 
   wget https://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz

 
   2、解压：

 
   tar -zxvf logstash-2.0.0.tar.gz 
 

 
   3、进入logstash-2.0.0目录下，在根目录下建立conf文件夹，用来统一管理所有配置文件： 
 

 
   mkdir conf 
 

 
   4、进入conf目录下，建立shipper.conf文件，用来设置本机需要监控的日志路径，以及写入的路径: 
 

 
   touch shipper.conf 
 

 
   5、此处设置为写入redis: 
 

 
   shipper.conf: 
 

   input { 
 

   file { 
 

   path => [ 
 

   # 这里填写需要监控的文件 
 

   "/home/appuser/backlogs/wechat_service/wechat.service.2016-08-26.log", 
 

   "/data/logs/wechat_service/access.log" 
 

]

}

}

   output { 
 

   # 输出到redis 
 

   redis { 
 

   host => "192.169.1.10" # redis主机地址 
 

   port => 14001 # redis端口号 
 

   db => 8 # redis数据库编号 
 

   data_type => "channel" # 使用发布/订阅模式 
 

   key => "logstash_list_0" # 发布通道名称 
 

}

}

   filter { 
 

   mutate { 
 

   # 替换元数据host的值 
 

   replace => ["host", " 
  192.169.1.10 B[1]"] 
 

}

}

   6、在conf目录下新建indexer.conf文件，用来把之前写入的redis的日志内容发送到一个统一文件路径： 
 

   touch indexer.conf 
 

   7、此处设置为从redis接收日志统一写到一个文件 
 

   indexer.conf: 
 

   input { 
 

   redis { 
 

   host => " 
  192.169.1.10" # redis主机地址 
 

   port => 14001 # redis端口号 
 

   db => 8 # redis数据库编号 
 

   data_type => "channel" # 使用发布/订阅模式 
 

   key => "logstash_list_0" # 发布通道名称 
 

}

}

   output { 
 

   file { 
 

   path => "/data/logs/logstash/all.log" # 指定写入文件路径 
 

   message_format => "%{host} %{message}" # 指定写入格式 
 

   flush_interval => 0 # 指定刷新间隔，0代表实时写入 
 

}

}

   8、下面启动两个配置文件 
 

   进入在logstash根目录： 
 

   先检测两个文件配置是否有问题： 
 

   bin/logstash -f conf/shipper.conf -t 
 

   bin/logstash -f conf/indexer.conf -t 
 

   然后启动 两个配置： 
 

   bin/logstash -f conf/shipper.conf 
 

   bin/logstash -f conf/indexer.conf 
 

   9、接下来就是见证奇迹的时刻 
 

   在监听的其中一个日志文件中写入一条日志： 
 

 
   echo "Hello World" >> /data/logs/wechat_service/access.log 
 

   这时打开从redis写入的all.log，这时候就可以看到access.log中的日志被监听过来了 
 

   10、上面实现了一台机器上监听多个文件汇总，想要收集多台机器上的日志同理，只需在另一台机器上配置一个shipper文件，修改需要监听的日志路径，然后启动就行了 
 