elk（logstash安装、收集nginx的日志和filebeat收集日志）

最新推荐文章于 2025-04-28 16:19:31 发布

我让你学！

最新推荐文章于 2025-04-28 16:19:31 发布

阅读量283

点赞数

分类专栏：笔记文章标签： nginx linux elk

本文链接：https://blog.youkuaiyun.com/qq_52619275/article/details/114573892

版权

笔记专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍ELK Stack中Logstash的安装配置流程，包括二节点安装、收集Nginx日志及Filebeat的配置方法。同时介绍了如何通过Logstash处理系统日志和Nginx日志，并将数据发送至Elasticsearch。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

四、二节点安装logstash
1.下载rpm包到二节点，并解析

rpm -ivh logstash-6.0.0.0.rpm

在这里插入图片描述

配置文件vi /etc/rsyslog.conf 在这里插入图片描述

2.配置文件 vi /etc/logstash/logstash.yml
在这里插入图片描述
3.配置文件 vi /etc/logstash/conf.d/syslog.conf

input {
  syslog {
    type => "system-syslog"
    port => 10514
  }
}
output {
  stdout {
    codec => rubydebug
  }
}

4.检测配置是否错误
（1）创建软连接在这里插入图片描述
（2）

 logstash --path.settings /etc/logstash/ -f /etc/logstash/conf.d/syslog.conf --config.test_and_exit

在这里插入图片描述 –path.settings : 用于指定logstash的配置文件所在的目录
-f : 指定需要被检测的配置文件的路径
–config.test_and_exit : 指定检测完之后就退出，不然就会直接启动了
5.启动logstash
systemctl start logstash
6.查看进程
7.查看端口（出现10514和9600）在这里插入图片描述
8.测试
9.登录浏览器192.168.200.20:5601’
kibana
（1）把systemctl-syslog-*更换到里面

（2）修改时间在这里插入图片描述
（3）查看到日志情况
五、logstash收集nginx日志
1.解析包

在这里插入图片描述

在这里插入图片描述
2.配置文件

input {
  file {
    path => "/tmp/elk_access.log"
    start_position => "beginning"
    type => "nginx"
  }
}
filter {
    grok {
        match => { "message" => "%{IPORHOST:http_host} %{IPORHOST:clientip} - %{USERNAME:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:http_verb} %{NOTSPACE:http_request}(?: HTTP/%{NUMBER:http_version})?|%{DATA:raw_http_request})\" %{NUMBER:response} (?:%{NUMBER:bytes_read}|-) %{QS:referrer} %{QS:agent} %{QS:xforwardedfor} %{NUMBER:request_time:float}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    stdout { codec => rubydebug }
    elasticsearch {
        hosts => ["192.168.200.202:9200"]
        index => "nginx-test-%{+YYYY.MM.dd}"
  }
}

3.检查配置是否正确

在这里插入图片描述
4.

server {
            listen 80;
            server_name elk.com;

            location / {
                proxy_pass      http://192.168.200.201:5601;
                proxy_set_header Host   $host;
                proxy_set_header X-Real-IP      $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            }
            access_log  /tmp/elk_access.log;
        }

5.配置文件在这里插入图片描述

log_format main2 '$http_host $remote_addr - \$remote_user [\$time_local] "\$request" ' '$status \$body_bytes_sent "\$http_referer" ' '"\$http_user_agent" "\$upstream_addr" \$request_time';

6.开启nginx和logstash 在这里插入图片描述
7.修改C:\Windows\System32\drivers\etc中的hosts文件
（没有权限修改，先把文件复制到桌面修改，然后复制回去）
192.168.200.20 elk.com
8.回到主节点查看是否有日志生成

9.在浏览器kibana里在这里插入图片描述

六、安装beat
1.上传filebeat，解析rpm包
2.编辑文件vim /etc/filebeat/filebeat.yml

filebeat.prospectors:
  paths:
    - /var/log/elasticsearch/elk.log	//此处可自行改为想要监听的日志文件
output.elasticsearch:
  hosts: ["192.168.200.20:9200"]
 systemctl start  filebeat

3.主节点查看索引在这里插入图片描述
4.在kibana上查看到