鲲鹏服务器logstash采集nginx日志

原创 已于 2025-07-26 16:34:17 修改 · 766 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器 #nginx #运维

于 2025-07-26 12:29:54 首次发布

准备

1、服务器信息

[root@ecs ~]# cat /etc/kylin-release 
Kylin Linux Advanced Server release V10 (Tercel)
[root@ecs ~]# 
[root@ecs ~]# uname -a
Linux ecs.novalocal 4.19.148+ #1 SMP Mon Oct 5 22:04:46 EDT 2020 aarch64 aarch64 aarch64 GNU/Linux

2、logstash镜像
版本：8.4.0，可以在https://hub.docker.com/下载，也可以到https://download.youkuaiyun.com/download/Angushine/91436965这里下载

采集思路

1、将nginx的日志输出为json格式方便采集
2、logstash通过访问nginx日志access-yyyy-mm-dd.log将采集的日志写入kafka或es

导入镜像

[root@ecs public]# 
[root@ecs public]# docker load -i logstash-8.4.tar 
9beca9c8e2ec: Loading layer [==================================================>]   68.1MB/68.1MB
deebf99a620e: Loading layer [==================================================>]  66.89MB/66.89MB
1ec913148952: Loading layer [==================================================>]  345.6kB/345.6kB
5ffe4168f194: Loading layer [==================================================>]  595.9MB/595.9MB
ed15c32d9098: Loading layer [========================================<
最低0.47元/天 解锁文章
Nginx与Logstash：日志收集管道
java专栏
08-10 1296
📚 Nginx是一个高性能的HTTP服务器和反向代理服务器，广泛用于处理Web流量和负载均衡。Logstash是一个开源的服务器端数据处理管道，能够同时从多个来源采集数据，进行处理，并将其发送到你的存储库中。
使用filebeat+logstash收集Nginx应用日志
江晓龙的博客
07-19 1371
可以看到Nginx产生的日志是有很多字段内容的，比如客户端IP、请求的URL、请求的状态码、使用的浏览器类型等等，针对这些内容是很有必要解析出单个字段的，便于我们在kibana中进行查询。采用Nginx自己的JSON格式的日志格式去收集日志数据，在logstash中使用json插件进行解析。我们使用logstash的grok插件，通过正则的方式将每一个部分的内容解析成字段格式。左侧添加上中文的字段名，查询具体的日志内容。产生Nginx日志，多访问几次Nginx。左侧添加上要查询的字段，进行数据查询。...
ELK安装-- Logstash收集Nginx日志
qq_51085767的博客
03-09 220
Logstash收集Nginx日志 安装nginx 1.安装依赖包 [root@elk2 ~]# rpm -ivh openssl-libs-1.0.2k-21.el7_9.x86_64.rpm Preparing... ################################# [100%] file /usr/lib64/.libcrypto.so.10.hmac from install of openssl-libs-1:1.0.2k-2
使用logstash分析nginx日志 elasticsearch存储日志 kibana展示日志
boxrice007的博客
07-06 400
1 配置nginx log_format main '$remote_addr [$time_local] "$request" $status $body_bytes_sent "$http_referer" $request_time "$upstream_addr" $upstream_response_time "$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main;
6.Logstash收集nginx日志
weixin_30502965的博客
11-13 180
一、收集nginx日志 1.部署nginx [root@linux-host6 ~]# yum install gcc gcc-c++ automake pcre pcre-devel zlip zlib-devel openssl openssl-devel [root@linux-host6 ~]# cd /usr/local/src/ [root@linux-host6 ...
Logstash 收集nginx日志
wangruxin222的博客
03-08 684
[root@elk-2 ~]# cat /etc/logstash/conf.d/nginx.conf input { file { path => “/tmp/elk_access.log” ##指定文件从什么地方收集 start_position => “beginning” type => “nginx” } } filter { grok { match => { “message” => “%{IPORHOST:http_host} %{IPORHOST:clien
LogStash采集Nginx日志到Kafka操作手册
qq_33865863的博客
09-03 640
nginx配置 编辑nginx配置文件 vim /usr/local/nginx/conf/nginx.conf 定义日志格式为json，修改http模块 http { include mime.types; default_type application/octet-stream; ​ log_format logstash_json '{ "@timestamp": "$time_iso8601", ' ...
Logstash分析nginx日志
每天进步一点点！！！
07-04 657
Logstash分析nginx日志 文章目录Logstash分析nginx日志1 日志转化格式及步骤1.将nginx普通日志转换为json2.将nginx日志的时间格式进行格式化输出3.将nginx日志的来源ip进行地域分析4.将nginx日志的user-agent字段进行分析5.将nginx日志的bytes修改为整数6.移除没用的字段，message、headers 将日志先读入到filebeat（filebeat安装在装有nginx机器中）中，然后filebeat在输出到logstash中，logsta
logstash收集nginx日志
白夜流歌的笔记簿
03-29 608
因为我的nginx日志是通过filebeat采集的，所以这里就借用大佬的文章，他的这两篇ELK的文章给了我很大帮助，以下是他的链接地址： https://blog.51cto.com/zero01/2082794 和收集syslog一样，首先需要编辑配置文件，这一步在logstash服务器上完成： [root@data-node1 ~]# vim /etc/logstash/conf.d/nginx.conf # 增加如下内容 input { file { # 指定一个文件作为输入源 pat
Logstash收集Nginx日志
weixin_33753003的博客
01-04 223
通过日志我们可以及时发现软件所遇到的问题，但是日志位于服务器上，不便于观察，可视化的实时收集日志并分析十分重要，而ELK栈为另外们提供了很好的解决方案。这里，我们使用Logstash收集Nginx日志，并输出到Elasticsearch，用Kibana来显示。 依赖 logstash-6.1.1 elast...
Logstash 收集nginx访问日志
supahero的博客
12-11 395
修改nginx日志格式为json格式： [root@web01 ~]# vim /etc/nginx/nginx.conf ...... log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "
logstash nginx 访问日志
weixin_30507481的博客
08-30 165
log_format main '$remote_addr [$time_local] "$request" ' '$request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" ' '$request_tim...
logstash 采集nginx 日志
ajax_beijing_java的博客
08-10 658
简单安装nginx## 主配置文件user nginx;events {http {## 子配置文件server{listen 80;root /code;
logstash 处理nginx 访问日志
weixin_30883271的博客
08-24 202
[root@dr-mysql01 frontend]# cat logstash_frontend.conf input { file { type => "zj_frontend_access" path => ["/data01/applog_backup/zjzc_log/zj-fronte...
运维之道 | ELK 通过 Logstash 收集 Nginx 日志
VillianTsang 、运维之道
01-22 480
ELK 通过 Logstash 收集 Nginx 日志 1、安装部署Nginx 运维之道 | 企业级Nginx环境搭建 2、将nginx日志转换成json格式 [root@localhost ~]# vim /usr/local/nginx/conf/nginx.conf http { include mime.types; default_type applica...
ELK logstash收集nginx,java,redis,syslog日志到elasticsearch,kibana展示
weixin_42896216的博客
12-04 1135
ELK logstash收集nginx,java,redis,syslog日志到elasticsearch,kibana展示
配置logstash收集nginx的日志
Think++
03-08 1839
0.默认已经安装了ELK，并已经成功运行。如需安装，请移步此处。 #请将文中所有的ip地址换成你的主机ip地址 1.安装nginx服务 1.1更新包源 sudo apt-get update 1.2直接使用apt进行安装 sudo apt-get install nginx 1.3修改配置文件 1.3.1修改全局配置文件 sudo vim /etc/nginx/ngi...
ELK详解（十三）——Logstash收集Nginx日志实战
永远是少年
04-07 5981
今天继续给大家介绍Linux运维相关知识，本文主要内容是Logstash收集Nginx日志实战。 一、Nginx配置 二、Logstash配置 三、效果检验
logstash采集nginx 日志 请求方式
最新发布
06-06
### 配置Logstash采集和解析Nginx日志中的HTTP请求方法 为了使用Logstash采集和解析Nginx日志中的HTTP请求方法，需要正确配置Logstash的输入插件（Input）、过滤插件（Filter）以及输出插件（Output）。以下是详细的配置步骤和示例： #### 1. 配置Logstash Input 插件 Logstash可以通过多种方式接收Nginx日志数据。常见的方法包括直接读取文件或通过Filebeat发送日志数据。如果选择直接读取文件，可以使用`file`插件；如果通过Filebeat发送，则在Logstash中配置`beats`插件。 - **直接读取文件**： ```yaml input { file { path => "/var/log/nginx/access.log" # Nginx日志路径 start_position => "beginning" sincedb_path => "/dev/null" # 确保每次启动都从头读取 } } ``` - **通过Filebeat发送**： 确保Filebeat已正确配置并发送日志到Logstash[^2]，然后在Logstash中配置如下： ```yaml input { beats { port => 5044 } } ``` #### 2. 配置Logstash Filter 插件 使用`grok`过滤器插件解析Nginx日志中的HTTP请求方法。默认情况下，Nginx的日志格式遵循标准的Common Log Format（CLF），但也可以自定义日志格式。以下是一个典型的Nginx日志格式及其对应的Grok模式： - **Nginx默认日志格式**： ```text $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ``` - **Grok模式**： ```yaml filter { grok { match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}" } } } ``` 上述Grok模式会提取出HTTP请求方法并存储在字段`http_method`中[^1]。 #### 3. 配置Logstash Output 插件 根据需求将解析后的日志数据输出到目标系统。例如，可以将数据写入MySQL数据库或Elasticsearch。 - **输出到MySQL**： ```yaml output { jdbc { driver_class => "com.mysql.jdbc.Driver" connection_string => "jdbc:mysql://localhost:3306/logdb?user=root&password=secret" statement => ["INSERT INTO nginx_logs (http_method, client_ip, timestamp) VALUES (?, ?, ?)", "http_method", "clientip", "timestamp"] } } ``` - **输出到Elasticsearch**： ```yaml output { elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-log-%{+YYYY.MM.dd}" } } ``` #### 4. 启动Logstash 完成配置后，启动Logstash以开始处理日志数据： ```bash ./bin/logstash -f /path/to/your/config/file.conf ``` --- ### 示例完整配置文件 以下是一个完整的Logstash配置文件示例，用于采集和解析Nginx日志中的HTTP请求方法： ```yaml input { file { path => "/var/log/nginx/access.log" start_position => "beginning" sincedb_path => "/dev/null" } } filter { grok { match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => "@timestamp" } } output { stdout { codec => rubydebug } elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-log-%{+YYYY.MM.dd}" } } ``` --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

angushine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值