鲲鹏服务器logstash采集nginx日志

已于 2025-07-26 16:34:17 修改
阅读量530 收藏 6
点赞数 17
CC 4.0 BY-SA版权
文章标签： 服务器 nginx 运维
于 2025-07-26 12:29:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Angushine/article/details/149664427

准备

1、服务器信息

[root@ecs ~]# cat /etc/kylin-release 
Kylin Linux Advanced Server release V10 (Tercel)
[root@ecs ~]# 
[root@ecs ~]# uname -a
Linux ecs.novalocal 4.19.148+ #1 SMP Mon Oct 5 22:04:46 EDT 2020 aarch64 aarch64 aarch64 GNU/Linux

2、logstash镜像
版本：8.4.0，可以在https://hub.docker.com/下载，也可以到https://download.youkuaiyun.com/download/Angushine/91436965这里下载

采集思路

1、将nginx的日志输出为json格式方便采集
2、logstash通过访问nginx日志access-yyyy-mm-dd.log将采集的日志写入kafka或es

导入镜像

[root@ecs public]# 
[root@ecs public]# docker load -i logstash-8.4.tar 
9beca9c8e2ec: Loading layer [==================================================>]   68.1MB/68.1MB
deebf99a620e: Loading layer [==================================================>]  66.89MB/66.89MB
1ec913148952: Loading layer [==================================================>]  345.6kB/345.6kB
5ffe4168f194: Loading layer [==================================================>]  595.9MB/595.9MB
ed15c32d9098: Loading layer [==================================================>]  4.096kB/4.096kB
ef6a633680e3: Loading layer [==================================================>]  4.096kB/4.096kB
898f302c5bdb: Loading layer [==================================================>]  4.608kB/4.608kB
1e88cd63ad1e: Loading layer [==================================================>]  4.608kB/4.608kB
2681b072ef0f: Loading layer [==================================================>]  14.34kB/14.34kB
ea41d0d53acc: Loading layer [==================================================>]  2.945MB/2.945MB
ddd9c047a343: Loading layer [==================================================>]  3.584kB/3.584kB
Loaded image: logstash:8.4.0
[root@ecs public]# docker images
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
logstash            8.4.0               8ec9de6fbf46        2 years ago         720MB

改造Nginx日志格式

1、修改nginx配置文件nginx.config

http {
    include       mime.types;
    default_type  application/octet-stream;
    
    # 原始格式
    # log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';
    # 改造后日志格式
    log_format json '{"@timestamp":"$time_iso8601",'
                    '"@version":"1",'
                    '"client":"$remote_addr",'
                    '"url":"$uri",'
                    '"status":"$status",'
                    '"domain":"$host",'
                    '"host":"$server_addr",'
                    '"size":$body_bytes_sent,'
                    '"responsetime":$request_time,'
                    '"referer": "$http_referer",'
                    '"ua": "$http_user_agent"'
                    '}';

    # 日志按天分割方法一
    #map $time_iso8601 $logdate {
    #    '~^(?<ymd>\d{4}-\d{2}-\d{2})' $ymd;
    #    default 'date-not-found';
    #}
    #access_log logs/access_$logdate.log json;

    open_log_file_cache max=10;
    sendfile        on;
    keepalive_timeout  65;
    server_tokens off;

    # gzip  on;
    client_max_body_size 200M;

    server {
        listen       80;
        server_name  localhost;

        # 日志按天分割方法二
        if ($time_iso8601 ~ '(\d{4}-\d{2}-\d{2})') {
            set $tttt $1;
        }
        access_log  logs/access_$tttt.log  json;
    }
}

2、加载配置

./sbin/nginx -s reload

3、检查日志是否按照指定格式生成

[root@server nginx]# cat ./logs/access-2025-07-21.log 
{"@timestamp":"2025-07-21T17:05:21+08:00","@version":"1","client":"192.168.74.6","url":"/test/uc/test/applyPageList.do","status":"200","domain":"192.168.1.100","host":"192.168.1.100","size":5928,"responsetime":0.019,"referer": "http://192.168.1.100/home/","ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"}
{"@timestamp":"2025-07-21T17:05:26+08:00","@version":"1","client":"192.168.74.6","url":"/test/uc/test/pageList.do","status":"200","domain":"192.168.1.100","host":"192.168.1.100","size":5288,"responsetime":0.015,"referer": "http://192.168.1.100/home/","ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"}
{"@timestamp":"2025-07-21T17:05:28+08:00","@version":"1","client":"192.168.74.6","url":"/test/uc/test/getSafetyPostList.do","status":"200","domain":"192.168.1.100","host":"192.168.1.100","size":5590,"responsetime":0.010,"referer": "http://192.168.1.100/home/","ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"}
{"@timestamp":"2025-07-21T17:05:28+08:00","@version":"1","client":"192.168.74.6","url":"/test/uc/test.do","status":"200","domain":"192.168.1.100","host":"192.168.1.100","size":19018,"responsetime":0.026,"referer": "http://192.168.1.100/home/","ua": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/537.36"}

可以看到日志已经按照指定格式写入了访问日志文件中。

logstash配置

从这里下载：https://download.youkuaiyun.com/download/Angushine/91497749

配置介绍

将下载的logstash.zip文件解压后放到指定目录，比如这里放到/data/public/logstash/目录下
1、logstash.yml
logstash.yml完整路径为：/data/public/logstash/config/logstash.yml

# 指定配置文件路径，若为目录则按字典顺序加载所有.conf文件
path.config: /usr/share/logstash/config/conf.d/*.conf
path.logs: /var/log/logstash
# 配置有变更，自动加载
config.reload.automatic: true

2、beats.conf
beats.conf完整路径：/data/public/logstash/config/conf.d/beats.conf

input {
    file {
        path => ["/data/logs/access_*.log"]
        type => "nginx"
        start_position => "end"
    }
}
filter{
    grok{
        match => ['message','%{TIMESTAMP_ISO8601:logdate}']
    }
    json{
        source => "message"
        remove_field => ["message"]
    }
    ruby {
        code => "
            event.set('@timestamp', LogStash::Timestamp.at(event.get('@timestamp').time.localtime + 8*60*60))
        "
    }
    mutate {
        add_field => { "log_time" => "%{+YYYY-MM-dd HH:mm:ss}" }
        remove_field => ["@version"]
    }
}
output {
    kafka {
        bootstrap_servers => "19.168.1.101:9092"
        topic_id => "nginx-logs"
        codec => json
        acks => "all"
        retries => 5
        batch_size => 16384
    }
}
  • 输入（input）配置

​​文件输入​​：通过file插件从文件读取数据，常用配置项有path（文件路径，支持通配符，如/var/log/*.log）和start_position（开始读取位置，beginning或end）。
​​Beats输入​​：接收Filebeat等客户端数据，配置port（监听端口）即可。
​​HTTP输入​​：通过HTTP请求接收数据，配置port（监听端口）。

  • 过滤（filter）配置

​​grok过滤器​​：使用正则表达式解析非结构化日志，如match => { “message” => “%{COMBINEDAPACHELOG}” }。
​​mutate过滤器​​：修改字段，如add_field添加新字段、remove_field删除字段。
​​date过滤器​​：解析日期字段，如match => [ “timestamp”, “ISO8601” ]。

  • 输出（output）配置

​​Elasticsearch输出​​：将数据发送到Elasticsearch，配置hosts（ES地址）和index（索引名）。
​​文件输出​​：将数据写入文件，配置path（文件路径）。

  • 全局配置

​​path.config​​：指定配置文件路径，若为目录则按字典顺序加载所有.conf文件。
​​pipeline.workers​​：设置并行处理线程数，默认为CPU核数。
​​pipeline.batch.size​​：定义单个线程批量处理的最大事件数，默认

输出到ES

如果需要同时输出到ES和Kafka，只需增加如下elasticsearch配置即可

output {
    elasticsearch {
        hosts => ["http://192.168.1.101:9200"]
        index => "logstash-%{+YYYY.MM.dd}"
        user => ""
        password => ""
        manage_template => true
        template => "/usr/share/logstash/config/template/logs.json"
        template_overwrite => true 
    }
    kafka {
        bootstrap_servers => "192.168.1.101:9092"
        topic_id => "test-logs"
        codec => json
        acks => "all"
        retries => 5
        batch_size => 16384
    }
}

启动

docker run --log-driver json-file --log-opt max-size=100m --log-opt max-file=2 \
--privileged=true --network=host --name logstash \
-v /data/public/logstash/config/:/usr/share/logstash/config/ \
-v /data/public/nginx/logs/:/data/logs/ \
-d logstash:8.4.0

启动成功后，就可以检查一下是否有采集日志到kafka中

常见问题

启动后可能会提示权限问题，建议执行一下如下脚本

# 对配置文件进行授权
chmod 777 -R /data/public/logstash/config/
# 对日志文件进行授权
chmod 777 /data/public/nginx/logs/access_*.log

如果nginx日志按天生成，可能会造成日志文件权限失效，此时可以在系统定时器中加入定时设置权限

crontab -e
# 调整logstash采集nginx日志的访问权限
* * * * * chmod 777 /data/public/nginx/logs/access_*.log
1、日志易介绍
xuebo1129927648的博客
06-01 156
日志易是由北京优特捷信息技术有限公司开发的一款日志管理工具。以下是对它的详细介绍：日志易服务超过 700 多家头部企业与机构，覆盖银行、证券、保险、基金、能源、运营商、政府等行业，如中国银行、招商银行、光大证券、中国移动、国家税务总局等。日志易的产品优势主要有以下几点：日志易的收费模式分为部署版和 SaaS 服务版两种：日志易作为一款日志管理与分析平台，其核心原理围绕日志数据的全生命周期管理展开，涵盖数据采集、处理、存储、检索、分析及可视化等关键环节。以下是其核心原理的详细解析：日志易支持从 ** 服务器、
使用filebeat+logstash收集Nginx应用日志
江晓龙的博客
07-19 1310
可以看到Nginx产生的日志是有很多字段内容的，比如客户端IP、请求的URL、请求的状态码、使用的浏览器类型等等，针对这些内容是很有必要解析出单个字段的，便于我们在kibana中进行查询。采用Nginx自己的JSON格式的日志格式去收集日志数据，在logstash中使用json插件进行解析。我们使用logstash的grok插件，通过正则的方式将每一个部分的内容解析成字段格式。左侧添加上中文的字段名，查询具体的日志内容。产生Nginx日志，多访问几次Nginx。左侧添加上要查询的字段，进行数据查询。...
u8文件服务器配置 404,u8文件服务器配置
weixin_35869861的博客
08-13 669
u8文件服务器配置 内容精选换一换简要介绍PCRE(perl compatible regular expressions，perl语言兼容正则表达式)是由菲利普.海泽(Philip Hazel)编写的正则表达式函数库，它比Boost之中的正则表达式库小得多，但PCRE十分易用，同时功能也很强大，性能超过了POSIX正则表达式库和一些经典的正则表达式库。语言：C/C++一直播服务提供了录制文件生成...
LogStash采集Nginx日志到Kafka操作手册
qq_33865863的博客
09-03 612
nginx配置 编辑nginx配置文件 vim /usr/local/nginx/conf/nginx.conf 定义日志格式为json，修改http模块 http { include mime.types; default_type application/octet-stream; ​ log_format logstash_json '{ "@timestamp": "$time_iso8601", ' ...
Logstash分析nginx日志
每天进步一点点！！！
07-04 638
Logstash分析nginx日志 文章目录Logstash分析nginx日志1 日志转化格式及步骤1.将nginx普通日志转换为json2.将nginx日志的时间格式进行格式化输出3.将nginx日志的来源ip进行地域分析4.将nginx日志的user-agent字段进行分析5.将nginx日志的bytes修改为整数6.移除没用的字段，message、headers 将日志先读入到filebeat（filebeat安装在装有nginx机器中）中，然后filebeat在输出到logstash中，logsta
使用logstash分析nginx日志 elasticsearch存储日志 kibana展示日志
boxrice007的博客
07-06 374
1 配置nginx log_format main '$remote_addr [$time_local] "$request" $status $body_bytes_sent "$http_referer" $request_time "$upstream_addr" $upstream_response_time "$http_user_agent" "$http_x_forwarded_for"'; access_log /var/log/nginx/access.log main;
ELK企业应用场景之Nginx日志采集-logstash+es+kibana
qq_43253382的博客
12-08 1417
通过logstash+es,采集nginx日志得json格式日志
python在windows电脑找回WiFi密码
qq_43596960的博客
07-23 375
本文介绍了一个Python脚本，用于在Windows系统中获取当前连接的Wi-Fi网络及其保存的密码。脚本首先检查是否以管理员权限运行，然后通过netsh wlan show interface命令获取当前Wi-Fi名称，再使用netsh wlan show profile命令查询该网络的密码。其中包含详细的代码注释，解释了正则表达式匹配、子进程调用和异常处理等关键步骤。该脚本仅适用于已保存密码的Wi-Fi网络，运行时需要管理员权限，并非用于破解密码。最后提供了用户友好的交互界面，显示结果后等待用户确认退出
Linux：日志乱码
博风_刺耳的博客
07-25 254
XShell设置编码格式
【服务器】常用PCIe 5.0 Retimer芯片厂家及型号
都给我的博客
07-23 1154
采用标准BGA封装，适用于Riser卡、主板及NVMe背板，可与Switchtec PCIe交换机协同工作。：PCIe 5.0 Retimer与Redriver不可混用——Retimer重建信号时钟，适用于>10英寸的长距传输；采用354-ball BGA封装，集成自适应CTLE/DFE均衡技术（36dB损耗补偿），适用于服务器、存储设备及高性能工作站。PCIe 5.0 Retimer芯片能够有效补偿信道损耗、消除信号抖动，显著提升信号完整性并延长高速信号传输距离。
编程与数学 03-001 计算机组成原理 21_服务器计算机组成实例解析
明月看潮生的博客
07-23 1111
本文以Dell PowerEdge R750服务器为例，深入解析了服务器计算机的硬件架构特点、性能优化技术及典型应用场景。硬件架构方面，探讨了多核/多处理器设计、大容量高带宽内存、高速存储系统和高可用性设计。性能优化技术涵盖并行计算、虚拟化支持和网络I/O优化。
Python脚本服务器迁移至K8S集群部署
凡心所向,素履以往,生如逆旅,一苇以航
07-23 470
本文介绍将CentOS服务器上的Python定时任务迁移到K8S集群的实施方案。通过将Python脚本及其运行环境打包为标准化容器镜像，并使用Kubernetes原生CronJob进行集成。具体步骤包括：1）创建项目目录结构；2）导出Python环境依赖；3）构建包含系统依赖和语言环境的Docker镜像；4）配置持久化存储和CronJob任务。方案重点解决了环境一致性、敏感信息隔离和资源混用问题，同时保留了原有路径和语言设置。通过NFS存储类实现日志持久化，并创新性地挂载节点本地目录以存储临时数据。
服务器安装虚拟机全步骤
weixin_42057187的博客
07-25 664
因为VMWare被BROADCOM（博通）收购了，其下的Windows和Linux平台的VMware Workstation Pro以及macOS平台的VMware Fusion Pro，目前可以免费下载使用。⑤点击 下一步，选择 Linux 后，在下方 版本(V) 中选择我们安装系统版本，这里选的是CentOS8 64位。如果设置了大写字母，在后面登录输入密码的时候，输入大写字母时，要按住 shift 键输入，否则会提示密码错误！安装完成以后，会出现 重启 按钮，我们点击 重启 后等待加载完成。
ubuntu22.04.4锁定内核应对海光服务器升级内核无法启动问题
大新新大浩浩的博客
07-25 444
ubuntu22.04.4锁定内核应对海光服务器升级内核无法启动问题
HCLP--MGER综合实验
gx2348的博客
07-26 656
步骤1：创建隧道接口，配置IP地址，封装方式设置为GRE（gre），配置隧道对应物理接口的源IP地址和目标隧道封装的物理接口的IP地址。步骤1：创建隧道接口，配置IP地址，封装方式设置为MGRE（gre p2mp），配置隧道对应物理接口的源IP地址。步骤1：创建隧道接口，配置IP地址，选择封装类型MGRP，配置源IP地址（隧道口对应的真实的物理口IP地址）步骤1：创建隧道接口，配置IP地址，选择封装类型GRP，配置源目IP地址（隧道口对应的真实的物理口IP地址）
学习嵌入式的第三十三天-数据结构-（2025.7.25）服务器/多客户端模型
最新发布
Mickey_mouse123的博客
07-26 211
本文介绍了服务器模型和MQTT协议的关键特点。服务器模型包括循环服务器（适用于简单任务）、并发服务器（支持多任务处理）和多路IO模型（适合高并发）。MQTT协议专为低功耗设备设计，采用发布/订阅模式，通过Broker实现消息路由，支持双向通信。软件安装方法包括在线安装（apt-get）和本地源码编译安装（configure/make/make install）。
服务器：数字世界的隐形引擎
yzx991013的博客
07-26 550
服务器是支撑数字世界的核心动力源，作为功能强大、高度可靠的计算机，它负责响应请求、处理数据并存储信息。服务器具备7x24小时不间断运行能力，采用冗余设计确保稳定性，配备高性能CPU、大内存和高速网络接口以应对海量并发请求。从物理形态看，服务器有机架式、塔式、刀片式等，同时虚拟化和云计算技术带来更灵活的部署方式。其核心组件包括CPU、内存、存储和网卡，运行Linux或Windows Server等操作系统。专业的运维管理对服务器至关重要，未来趋势包括云原生、边缘计算和绿色数据中心等创新技术。
如何将拥有的域名自定义链接到我的世界服务器（Minecraft服务器）
Dynadot_tech的博客
07-24 320
本文介绍了如何通过Dynadot域名注册商将域名与Minecraft私人服务器进行绑定。主要内容包括：1）Dynadot作为ICANN认证注册商的基本情况；2）Minecraft游戏及其服务器搭建简介；3）详细操作步骤：在Dynadot后台设置DNS记录，添加A记录指向服务器IP，并配置SRV记录（包含优先级0、权重5及自定义端口）。该指南帮助用户实现通过自定义域名访问Minecraft私人服务器，适合游戏爱好者参考使用。
SELinux策略定制于VPS服务器安全加固的配置方法
cpsvps_net的博客
07-24 556
本文将详细介绍如何通过定制SELinux策略来加固VPS服务器的安全配置，包括基础概念解析、策略定制步骤、常见问题解决方案等内容，帮助管理员构建更加安全的服务器环境。
logstash采集nginx 日志 请求方式
06-06
### 配置Logstash采集和解析Nginx日志中的HTTP请求方法 为了使用Logstash采集和解析Nginx日志中的HTTP请求方法，需要正确配置Logstash的输入插件（Input）、过滤插件（Filter）以及输出插件（Output）。以下是详细的配置步骤和示例： #### 1. 配置Logstash Input 插件 Logstash可以通过多种方式接收Nginx日志数据。常见的方法包括直接读取文件或通过Filebeat发送日志数据。如果选择直接读取文件，可以使用`file`插件；如果通过Filebeat发送，则在Logstash中配置`beats`插件。 - **直接读取文件**： ```yaml input { file { path => "/var/log/nginx/access.log" # Nginx日志路径 start_position => "beginning" sincedb_path => "/dev/null" # 确保每次启动都从头读取 } } ``` - **通过Filebeat发送**： 确保Filebeat已正确配置并发送日志到Logstash[^2]，然后在Logstash中配置如下： ```yaml input { beats { port => 5044 } } ``` #### 2. 配置Logstash Filter 插件 使用`grok`过滤器插件解析Nginx日志中的HTTP请求方法。默认情况下，Nginx的日志格式遵循标准的Common Log Format（CLF），但也可以自定义日志格式。以下是一个典型的Nginx日志格式及其对应的Grok模式： - **Nginx默认日志格式**： ```text $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ``` - **Grok模式**： ```yaml filter { grok { match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}" } } } ``` 上述Grok模式会提取出HTTP请求方法并存储在字段`http_method`中[^1]。 #### 3. 配置Logstash Output 插件 根据需求将解析后的日志数据输出到目标系统。例如，可以将数据写入MySQL数据库或Elasticsearch。 - **输出到MySQL**： ```yaml output { jdbc { driver_class => "com.mysql.jdbc.Driver" connection_string => "jdbc:mysql://localhost:3306/logdb?user=root&password=secret" statement => ["INSERT INTO nginx_logs (http_method, client_ip, timestamp) VALUES (?, ?, ?)", "http_method", "clientip", "timestamp"] } } ``` - **输出到Elasticsearch**： ```yaml output { elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-log-%{+YYYY.MM.dd}" } } ``` #### 4. 启动Logstash 完成配置后，启动Logstash以开始处理日志数据： ```bash ./bin/logstash -f /path/to/your/config/file.conf ``` --- ### 示例完整配置文件 以下是一个完整的Logstash配置文件示例，用于采集和解析Nginx日志中的HTTP请求方法： ```yaml input { file { path => "/var/log/nginx/access.log" start_position => "beginning" sincedb_path => "/dev/null" } } filter { grok { match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:http_method} %{URIPATHPARAM:request} HTTP/%{NUMBER:http_version}\" %{NUMBER:response_code} %{NUMBER:bytes}" } } date { match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ] target => "@timestamp" } } output { stdout { codec => rubydebug } elasticsearch { hosts => ["http://localhost:9200"] index => "nginx-log-%{+YYYY.MM.dd}" } } ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

angushine

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值