在上一章里,我们学会了如何搭建ELK实时日志分析平台,也知道了ELK是由Elasticsearch+logstash+kibana组合而成,但是其实这里面是有一个弊端的,那就是logstash收集日志运行依赖于java环境,对内存资源和cpu的占用较大,所以还是有待优化的。而今天,日月在这里就教大家如何优化这一点,那就是使用filebeat去收集日志,并使用redis作为中转,filebeat运行无需依赖于java环境,对内存资源和cpu几乎没多少消耗,并且使用redis作为中转也可以提高并发性能。于是filebeat+reids+ELK应运而生。
OK,我们话不多说,来开始我们的ELK改造。
1、下载filebeat
下载地址:https://www.elastic.co/downloads/beats
解压至F盘
2、filebeat配置文件
新建 filebeat2.yml
#=========================== Filebeat inputs =============================
filebeat.inputs:
- type: log
enabled: true
paths:
- D:/testlog.log
encoding: utf-8
scan_frequency: 10s
harvester_buffer_size: 16384
max_bytes: 10485760
tail_files: true
#============================