Nginx日志发送到Rsyslog，并存储到MySQL

最新推荐文章于 2025-03-08 14:49:57 发布
最新推荐文章于 2025-03-08 14:49:57 发布
阅读量1k 收藏 5
点赞数
分类专栏： 工作问题解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hou956643882/article/details/116224922
版权
本文讲述了如何在不增加系统复杂性的前提下，通过Nginx配置发送日志到rsyslog，然后利用rsyslog和MySQL配合，实现实时访问量统计，并解决网络问题以确保数据传输。作者分享了日志解析的正则表达式和后台定时任务的实现细节。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景

网站试运行一段时间了，客户说要在后台补一个日志访问量统计的功能，可视化显示，然后分析浏览量和访问量（好吧这的确是个必备的功能）。

流程介绍

  • 为了不增加系统复杂性，不使用消息队列或ELK
  • 使用Nginx配置指定格式的日志，发送到syslog服务器
  • syslog服务器接收到日志，存储到MySQL数据库
  • 后台定时任务从MySQL库中采集数据并解析，每五分钟跑一次
  • 后台接口查询解析后的数据，分析浏览量和访问量
  • 为了系统的安全性，Nginx所在服务器不能直接和数据库交互

具体实现

  • 通过Nginx发送日志到rsyslog（这里日志文件会在rsyslog服务器落地），然后rsyslog将日志文件存入MySQL数据库，后台定时任务抽取数据并解析，解析后入库，并提供相关接口查询网站访问量、点击量。（和上面的流程介绍一致）
  • 唯一遇到的问题是日志传输，也就是从Nginx到rsyslog的日志落地，调了一上午发现都不行，经过排查，确定了不是配置问题，而是网络的问题（之前护网，加了虚拟防火墙）。经过协调，开放了
最低0.47元/天 解锁文章
日志管理 —— rsyslog 系统日志管理 logrotate 日志轮转
weixin_46687989的博客
08-06 849
一、rsyslog系统日志管理 1、关心问题：哪类程序---》 产生的什么日志----》 放到什么地方 2、处理日志的进程 （1） 第一类： rsyslogd： 系统专职日志程序。处理绝大部分日志记录， 系统操作有关的信息，如登录信息，程序启动关闭信息，错误信息 （2） 第二类： httpd/nginx/mysql: 各类应用程序，可以以自己的方式记录日志. 3、观察 rsyslogd程序 [root@localho...
nginx日志实时存入mysql_使用Nginx lua把日志实时存储到mysql
weixin_34593927的博客
01-20 1120
准备材料Nginx.1.12安装包 (下载http://nginx.org/en/download.html)mysql 自行安装Lua 相关包LuaJIT (下载 http://luajit.org/download.html)ngx_devel_kit (下载 https://github.com/simpl/ngx_devel_kit/tags)ngx_lua (下载 htt...
nginx日志写进mysql_用 logparser日志分析工具把nginx日志写入mysql数据库
weixin_29327525的博客
01-20 663
90昨天把iis日志写入了mysql，今天尝试把nginx日志也写入mysql数据库，最后成功方法如下：logparser软件不再介绍，命令如下：logparser.exe "SELECT * FROM 'C:\logs\nginx\access.log' " -i:NCSA -o:DATAGRID logparser.exe "SELECT * FROM 'C:\logs\nginx...
用 logparser日志分析工具把nginx日志写入mysql数据库
LinBSoft的专栏
12-22 3026
昨天把iis日志写入了mysql，今天尝试把nginx日志也写入mysql数据库，最后成功方法如下： logparser软件不再介绍，命令如下： logparser.exe  "SELECT *  FROM  'C:\logs\nginx\access.log' " -i:NCSA -o:DATAGRID logparser.exe  "SELEC
rsyslog实现将日志存储到mysql中
爱折腾的技术人
10-15 1927
在你的配置中，你正在将日志发送到MySQL服务器的127.0.0.1，数据库名为Syslog，用户名为rsyslog，密码为123456。可以看到其实rsyslog模块提供的启动mysql的模块还有createDB.sql，它的作用就是定义了日志的记录表格式，可以直接导入该sql语句到mysql即可。：在*.*:ommysql这部分，*.*表示将所有日志消息都发送到MySQL。​ 6、启动mysql服务，并重启rsyslog服务，mysql已经记录日志，到此为止，日志信息已经成功的存储于数据库中；
使用sh格式化nginx访问日志并存入mysql
树叶咖啡厅
08-31 2259
  说明:记录的日志格式(字段有:ip,time,method,uri,http,code,datasize,head,postdata) 步骤: 1.设置nginx日志格式 2.使用sh脚本格式化日志,并存入mysql 3.新建mysql表格 4.验证 一.设置nginx日志格式: a.打开nginx.conf 在http模块里面添加自定义日式格式: $remote_a...
nginx logs通过rsyslog收集至mysql数据库使用LogAnalyzer查询
weixin_34194551的博客
04-24 258
nginx日志做一个集中管理查询 环境：CentOS7.3+NGINX1.12.1+RSYSLOG8.3.4+MYSQL5.6+PHP7.1.9+LogAnalyzer4.1.6 正常配置nginx日志即可 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' ...
CentOS7+Rsyslog+Loganalyzer+MySQL 搭建 Rsyslog 日志服务器
alanpo_的博客
07-27 1701
Rsyslog 日志服务器 一、简介 在centos7系统中，默认的日志系统是rsyslog，它是一类unix系统上使用的开源工具，用于在ip网络中转发日志信息，rsyslog采用模块化设计，是syslog的替代品。 rsyslog 日志管理服务器可以解决以下问题： 不再需要逐台服务器去查询系统日志文件 将日常的系统信息存储在mysql数据中，方便进行查询、统计、审计过滤等操作 通过其他软件可以实现扩平台日志收集，如使用evtsys采集window日志发送到linux日志服务器上 在linux下rsy.
使用rsyslog搭建集中日志管理系统，并将日志同时存储到文件和MongoDB
最新发布
深山技术宅的博客
03-08 770
使用rsyslog搭建集中日志管理系统，并将日志同时存储到文件和MongoDB
rsyslog+mysql+
07-27
配置rsyslog以将日志发送到MySQL数据库。您可以在rsyslog配置文件中指定MySQL数据库作为输出目标，并定义要写入的表和字段。 接下来，您需要安装和配置MySQL数据库。创建一个用于存储日志的数据库，并在rsyslog配置...
nginx配置日志发送给syslog服务器
Dexter's Laboratory
10-30 4681
需求描述 网站服务器用的nginx默认是把日志保存在本地的/var/log/nginx/access.log和/var/log/nginx/error.log, 想要同时输出给syslog日志服务器 配置方法 修改/etc/nginx/nginx.conf配置文件, 除了原有的配置以外, 在相应位置分别重复添加两行配置就行: user nginx; worker_processes 1; # 这是原来的配置, 记录错误日志到本地文件 error_log /var/log/nginx/error.lo
Nginx配置日志到rsyslog
qq_36124713的博客
07-21 2281
nginx配置日志输出到rsyslog；使用docker-compose安装tengine服务；rsyslog的配置使用；
syslog_ng的安装与配置及日志记录至mysql
weixin_33859231的博客
11-01 244
实现环境： centos5.4+syslog-ng_3.3.1.tar+eventlog_0.2.12.tar+libol-0.3.9.tar 下载地址：https://www.balabit.com/downloads/files?path=/syslog-ng/sources/3.3.1/source 安装eventlog: ./configure –prefi...
将1个2G的Nginx访问日志文件写入数据库
reg183的专栏
04-27 340
function unixtime() { if [ -n "$!"] ; then TIME=`echo ${1:1} | awk -F'[:\b/]' '{print $3"-"$2"-"$1" "$4":"$5":"$6}'` array=(${TIME// / }) ti=${array[0]} arr=(${ti//-/ }) .
nginx 关闭access日志_nginx 日志配置实践
weixin_39875031的博客
11-20 239
点击上方蓝色“后端开发杂谈”关注我们, 专注于后端日常开发技术分享nginx 日志配置实践access_log格式:path[位置: http, server, location, if in location, limit_except默认配置:access_log logs/access.log combined;如果使用 buffer 或 gzip (1.3.10, 1.2.7...
flume收集nginx日志文件存储mysql
天上掉下两毛钱
07-02 564
现在需要对项目组提供的查询API进行流量统计，准备采用flume收集Nginx的host.access.log日志文件进行分析。 初步方案：每台Nginx里部署一个flume。最后在部署一个聚合flume，编写自定义mysqlsink写入mysql(写hdfs更好....) 贴代码： mysql的sink类 import org.apache.flume.*; import org.apache.flume.conf.Configurable; import org.apache.flume.si
nginx日志管理rsyslog
Mr_Me35的博客
04-21 823
rsyslog管理nginx日志 记录日志的用处： 排错，追溯事件，统计流量，审计安全行为 rsyslog作为系统自带工具，可以很好的集中各种日志。 客户端：211 服务端：210 要达成的效果是，客户端nginx的日志信息自动同步到服务端。便于分析 服务端修改配置文件 vim /etc/rsyslog.conf --------------------------------- 日志传输有两种方...
Linux Rsyslog 通过 Nginx Web实现 HTML网页访问 rsysLog
shanxun1012的专栏
07-20 976
它已经从常规的syslog守护进程发展成为功能齐全的企业级日志系统。它采用客户端/服务器模型设计，因此可以配置为客户端和/或其他服务器、网络设备和远程应用程序的中央日志服务器。日志通常记录用户的操作、系统事件、网络活动等等，具体取决于它们的用途。Linux 系统上使用最广泛的日志系统之一是rsyslog。Rsyslog是一个强大、安全和高性能的日志处理系统，它接受来自不同类型源（系统/应用程序）的数据并将其输出为多种格式。3.5 编辑 vi /etc/nginx/nginx.conf。
nginx 写入mysql_将nginx access log 写入mysql
weixin_30217001的博客
02-28 269
将nginx access log 写入mysql#!/usr/bin/env python# -*- coding:utf-8 -*-__author__ = "jihongrui@hotmail.com"'''{u'status': u'200', " \"u'domain': u'nginx.org', " \"u'url': u'/index.html', " \"u'agent': u'...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值