nginx日志过大导致磁盘不够

给大家分析。Nginx 访问日志增长暴增出现尖刀的详细分析 前言:          Nginx日志里面Mobileweb_access.log增长特别大,一天上百兆,将近100W的访问记录,按照我们目前的规模,热点用户才500个左右,就算人人用手机app访问,怎么可能会有这么大的url访问量?以前只是安装使用nginx,还没有抽出时间仔细研究,这回需要彻底的去分析nginx日志了。   1,日志分类 主要2种,一种是错误日志,一种是访 阅读详情
[root@iZ23tkclljpZ ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        20G   19G   33M 100% /
none            4.0K     0  4.0K   0% /sys/fs/cgroup
udev            2.0G  4.0K  2.0G   1% /dev
tmpfs           396M  404K  395M   1% /run
none            5.0M     0  5.0M   0% /run/lock
none            2.0G     0  2.0G   0% /run/shm
none            100M     0  100M   0% /run/user
[root@iZ23tkclljpZ ~]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        20G   19G   51M 100% /
none            4.0K     0  4.0K   0% /sys/fs/cgroup
udev            2.0G  4.0K  2.0G   1% /dev
tmpfs           396M  408K  395M   1% /run
none            5.0M     0  5.0M   0% /run/lock
none            2.0G     0  2.0G   0% /run/shm
none            100M     0  100M   0% /run/user
[root@iZ23tkclljpZ ~]# ls
defaultPass
[root@iZ23tkclljpZ ~]# cd ..
[root@iZ23tkclljpZ /]# ls
alidata  boot  etc   hs_err_pid1491.log  initrd.img.old  lib64       media  nodejs  proc                             root  sbin  sys  TOMCAT_HOME  var      vmlinuz.old
bin      dev   home  initrd.img          lib             lost+found  mnt    opt     rabbitmq-signing-key-public.asc  run   srv   tmp  usr          vmlinuz
[root@iZ23tkclljpZ /]# du -s -h ./*
11M	./alidata
9.6M	./bin
58M	./boot
4.0K	./dev
6.6M	./etc
8.0K	./home
0	./hs_err_pid1491.log
0	./initrd.img
0	./initrd.img.old
441M	./lib
4.0K	./lib64
16K	./lost+found
4.0K	./media
4.0K	./mnt
2.3M	./nodejs
681M	./opt
du: cannot access ‘./proc/17287/task/17287/fd/4’: No such file or directory
du: cannot access ‘./proc/17287/task/17287/fdinfo/4’: No such file or directory
du: cannot access ‘./proc/17287/fd/4’: No such file or directory
du: cannot access ‘./proc/17287/fdinfo/4’: No such file or directory
0	./proc
4.0K	./rabbitmq-signing-key-public.asc
90M	./root
408K	./run
9.0M	./sbin
8.0K	./srv
0	./sys
4.2M	./tmp
0	./TOMCAT_HOME
16G	./usr
1.8G	./var
0	./vmlinuz
0	./vmlinuz.old
[root@iZ23tkclljpZ /]# cd /var
[root@iZ23tkclljpZ var]# du -s -h ./*
1.9M	./backups
680M	./cache
980M	./lib
4.0K	./local
0	./lock
31M	./log
4.0K	./mail
4.0K	./opt
0	./run
36K	./spool
4.0K	./tmp
118M	./tomcat
12K	./www
[root@iZ23tkclljpZ var]# cd ..
[root@iZ23tkclljpZ /]# cd /usr/
[root@iZ23tkclljpZ usr]# du -s -h ./*
145M	./bin
4.0K	./games
20M	./include
885M	./lib
14G	./local
23M	./sbin
337M	./share
108M	./src
[root@iZ23tkclljpZ usr]# ls
bin  games  include  lib  local  sbin  share  src
[root@iZ23tkclljpZ usr]# cd /local
-bash: cd: /local: No such file or directory
[root@iZ23tkclljpZ usr]# cd /lost+found/
[root@iZ23tkclljpZ lost+found]# ls
[root@iZ23tkclljpZ lost+found]# du -s -h ./*
du: cannot access ‘./*’: No such file or directory
[root@iZ23tkclljpZ lost+found]# ls
[root@iZ23tkclljpZ lost+found]# cd ..
[root@iZ23tkclljpZ /]# ls
alidata  boot  etc   hs_err_pid1491.log  initrd.img.old  lib64       media  nodejs  proc                             root  sbin  sys  TOMCAT_HOME  var      vmlinuz.old
bin      dev   home  initrd.img          lib             lost+found  mnt    opt     rabbitmq-signing-key-public.asc  run   srv   tmp  usr          vmlinuz
[root@iZ23tkclljpZ /]# cd usr/
[root@iZ23tkclljpZ usr]# ls
bin  games  include  lib  local  sbin  share  src
[root@iZ23tkclljpZ usr]# cd local
[root@iZ23tkclljpZ local]# ls
aegis  bin  etc  games  include  lib  man  nginx  sbin  share  src
[root@iZ23tkclljpZ local]# du -s -h ./*
169M	./aegis
4.0K	./bin
4.0K	./etc
4.0K	./games
4.0K	./include
24K	./lib
0	./man
14G	./nginx
4.0K	./sbin
68K	./share
4.0K	./src
[root@iZ23tkclljpZ local]# ls
aegis  bin  etc  games  include  lib  man  nginx  sbin  share  src
[root@iZ23tkclljpZ local]# cd nginx/
[root@iZ23tkclljpZ nginx]# ls
assets  client_body_temp  conf  fastcgi_temp  fonts  form  html  images  js  logs  nginx  proxy_temp  scgi_temp  twitter  uwsgi_temp  version
[root@iZ23tkclljpZ nginx]# du -s -h ./*
216K	./assets
4.0K	./client_body_temp
132K	./conf
4.0K	./fastcgi_temp
8.0K	./fonts
12K	./form
17M	./html
20M	./images
332K	./js
14G	./logs
4.8M	./nginx
124K	./proxy_temp
4.0K	./scgi_temp
24K	./twitter
4.0K	./uwsgi_temp
4.7M	./version
[root@iZ23tkclljpZ nginx]# 



 

 

利用du -s -h ./* 命令逐级 缩小包围圈 找到占用磁盘高的文件。

锁定在nginx的日志文件。日志占了14g 

先把日志暂停

nginx.conf 配置文件http 模块 增加access_log off;

 

http {
	include       mime.types;
	default_type  application/octet-stream;

	#charset  gb2312;

	server_names_hash_bucket_size 128;
	client_header_buffer_size 32k;
	large_client_header_buffers 4 32k;
	client_max_body_size 8m;

	sendfile on;
	tcp_nopush     on;

	keepalive_timeout 15;

	tcp_nodelay on;

	fastcgi_connect_timeout 300;
	fastcgi_send_timeout 300;
	fastcgi_read_timeout 300;
	fastcgi_buffer_size 64k;
	fastcgi_buffers 4 64k;
	fastcgi_busy_buffers_size 128k;
	fastcgi_temp_file_write_size 128k;

	gzip on;
	gzip_min_length  1k;
	gzip_buffers     4 16k;
	gzip_http_version 1.0;
	gzip_comp_level 2;
	gzip_types       text/plain application/x-javascript text/css application/xml;
	gzip_vary on;
	gzip_disable msie6;
	#limit_zone  crawler  $binary_remote_addr  10m;
	log_format '$remote_addr - $remote_user [$time_local] "$request" '
	              '$status $body_bytes_sent "$http_referer" '
	              '"$http_user_agent" "$http_x_forwarded_for"';
	include /usr/local/nginx/conf/vhosts/*.conf;
	access_log off ;#0426 删除日志
}

 

 

 

 

 

当然也可以对日志进行每天切割存储。

解决nginx日志过大问题 nginx日志处理,分割,定时删除 阅读详情

相关推荐

Nginx:日志管理

Nginx是一个高性能的HTTP和反向代理web服务器,是运维中十分常用的中间件,本篇文章将介绍Nginx的日志管理

二次源的博客 1209

access.log日志过大也会导致web性能下降

你知道吗?nginx默认的access.log日志文件过大,也会导致网页打开速度慢。要解决这个问题可以看下面的文章 方法一:直接删除access.log日志。然后重启下就会生成新的access日志。 如果你不打算要这个日志也可以修改nginx配置,将日志丢入/dev/null 中。 找到access_log /home/wwwlogs/access.log access; 改成access_l...

whxwkb的博客 9308

linux nginx日志太大做按天切分

场景:当nginx中的acces.log日志达到1G以上级别以上,会造成占用大量磁盘空间,造成必须要的浪费,当超过磁盘空间,会造成其他服务受到影响,导致不可用。第一步:编写脚本 创建日志存放路径:mkdir /mnt/log/nginx_log 创建脚本存放路径:mkdir /mnt/nginx_task_script 新增脚本:touchnginx_log_scirpt.sh 下载地址 #/bin/bash #Email:844199633@qq.com yesterday=$(date +...

感冒石头的博客 2655

windows清理nginx日志

nginx日志文件太大了,容易影响性能,可以直接删除,nginx会自动创建,但是有可能在直接删除的时候删除不了,nginx一运行又重新生成了。Quit 是一个优雅的关闭方式,Nginx在退出前完成已经接受的连接请求。进入nginx所在文件夹下cmd。然后在启动nginx即可。然后在右键删除日志文件。

我的博客 3778

限制Nginx日志文件大小的Java实现

因此,我们需要一种方法来限制日志文件的大小,并在达到一定大小时进行切割。在上面的代码中,我们首先定义了日志文件的路径(LOG_FILE_PATH)和最大文件大小(MAX_FILE_SIZE)。通过定期检查文件大小并进行切割,我们可以有效地控制日志文件的大小,防止其无限增长。首先,我们需要获取Nginx日志文件的路径。它首先生成一个新的文件名,将当前日志文件重命名为新的文件名,并创建一个新的空文件作为日志文件。请注意,在实际应用中,你可能需要将这段代码放在一个定时任务中,以便定期检查并切割日志文件。

2301_79365003的博客 591

Doris副本修复实战:从状态机到手动修复的完整指南

在分布式数据库系统中,多副本机制是实现高可用与数据一致性的核心技术。其原理是通过在不同节点存储数据的多个拷贝,确保部分节点故障时服务仍可继续。这项技术的核心价值在于保障数据可靠性,并支撑在线分析处理(OLAP)等对数据一致性要求高的应用场景。当副本出现损坏、丢失或版本不一致时,系统通常依赖自动修复机制,但在元数据损坏、多副本同时故障等复杂场景下,自动修复可能失效,需要深入理解副本状态机并借助手动工具介入。本文将聚焦Doris数据库,解析Tablet副本状态流转(如BAD、VERSION_ERROR),并详细

weixin_32288959的博客 464

磁盘IO导致的NGINX超时问题

于是赶紧停了这个任务。任务停止后再次验证,发现磁盘IO使用率立即下降了,接口也不超时了,状态码499的问题也没有了。联想到nginx日志切割的时间是凌晨3点左右,那么3点左右超时恢复就说的过去了 ,因为最新的 access.log 数据量小,所以tac查看的时候不怎么消耗磁盘IO,因此业务在3点左右自动恢复。准备日次再定位问题,等早上再看的时候,超时问题已恢复,再查看一下状态码为499的请求分布情况,凌晨3点左右断崖式下降,不得其解,以为是业务上有什么变化,看了业务曲线,并没有业务量的的明显变化。

zimuKobby的博客 1507

Vivado安装教程:多版本共存的配置技巧

详解Vivado安装教程中的多版本共存配置技巧,帮助用户在同一系统中管理不同版本的Vivado开发环境,提升开发效率与兼容性,适用于需要切换版本的FPGA开发者。

weixin_35257663的博客 1777

nginx日志磁盘空间使用率100%

记一次linux删除nginx日志的问题

root_zhb的博客 9526

Delphi 13 Beta初体验:手把手教你安装RAD Studio Ganymede,并实测新条件运算符

本文详细介绍了Delphi 13 Beta(代号Ganymede)的安装步骤和新特性,重点解析了新增的条件运算符语法。通过实测对比,展示了64位IDE的性能提升和新语法在代码简洁性上的优势,为开发者提供了从安装到实战的完整指南。

weixin_30399821的博客 205

IAR许可证Generation 18代际不匹配问题解析与解决

IAR Embedded Workbench 的许可证机制采用‘代际(Generation)’模型,而非简单版本号匹配——这是一种基于数字签名算法、加密协议和硬件绑定策略演进的授权安全体系。Generation 18 是 v9.30 及以上版本强制要求的许可代际标准,对应 ECDSA 签名与增强型硬件指纹校验,旨在提升防破解能力与平台适配性。当旧版许可证(如 Generation 16/17)被用于新 IDE 时,启动器会在本地完成代际校验并直接拦截,导致‘The generation feature is

weixin_34203832的博客 345

nginx 因POST请求体过大导致500错误问题排查记录

一. 问题 今天同事遇到一个问题同一个保存接口操作,第一个可以保存成功(请求体很小),第二个提示“500 Internal Server Error”(请求体比较大)。 二. 初步排查 刚开始以为是接口本身的问题,如是去接口所在服务器查看日志,但惊奇的是接口请求时服务日志没有任何日志输出。如是猜测可能是统一网关(gateway)的问题,遂打开统一网关的日志(记录了所有接口请求日志,接口路径,入参,出参),出乎意料的是统一网关也没有任何日志输出。继续往上层定位,查看nginx的error.log和ac

朱守成 6602

【信息学奥赛一本通】1215:迷宫(bfs版)

同时当Extense处在某个格点时,他只能移动到东南西北(或者说上下左右)四个方向之一的相邻格点上,Extense想要从点A走到点B,问在不走出迷宫的情况下能不能办到。每组测试数据的第1行是一个正整数n(1≤n≤100),表示迷宫的规模是n×n的。接下来是一个n×n的矩阵,矩阵中的元素为‘再接下来一行是4个整数ha,la,hb,lb,描述A处在第ha行, 第la列,B处在第hb行, 第lb列。一天Extense在森林里探险的时候不小心走入了一个迷宫,迷宫可以看成是由n×n的格点组成,每个格点只有2种状态,.

chu_xiaojie的博客 946

【记录】Nginx日志过大导致服务器空间爆满

摘要:服务器出现500错误,经排查发现是nginx日志爆满导致磁盘空间不足。针对高频推送接口/api/receive/data(每分钟1k+请求),采用极简日志格式优化,并配置logrotate实现180天自动备份。优化方案包括:1)单独配置极简日志格式;2)设置每日轮询压缩备份;3)保留180天日志。通过减少日志体积和定期清理,解决了磁盘空间不足问题。

m0_60971436的博客 408

腾讯会议+OBS虚拟摄像头:解决多人屏幕共享的终极指南(附常见问题排查)

本文详细介绍了如何利用OBS虚拟摄像头技术,解决腾讯会议中多人屏幕共享的痛点。通过将OBS作为视频混流中心,可以突破腾讯会议单屏共享的限制,实现多屏幕、多窗口内容的同步展示,并提升演示的专业度。文章涵盖了Windows与Linux双平台的配置步骤、高阶场景搭建以及常见问题(如黑屏、画中画)的排查方法,是团队协作与专业演示的实用指南。

i8j9k0l1的博客 931

智能Agent如何重塑企业流程

在当今数字化时代,企业流程的效率和敏捷性至关重要。传统企业流程往往受限于人工操作,效率低下、成本高昂,难以适应快速变化的市场环境。智能Agent作为一种新兴技术,凭借其强大的智能化能力,正在逐渐改变企业流程的运作模式,为企业带来新的机遇和挑战。智能Agent是一种能够感知环境、自主决策、执行任务的软件实体。它可以模拟人类的智能行为,例如学习、推理、规划和沟通。通过将智能Agent嵌入到企业流程中,可以实现流程的自动化、优化和智能化,从而提高效率、降低成本、提升客户体验。8.1 研究成果总结。

AGI×大数据,开启智能时代的认知跃迁;解码AGI,赋能数据驱动的智能革命。 874

nginx日志导致IO负载较高,如何处理

使用Nginx来收集日志,访问量较大,在将收集的数据直接记录磁盘文件时,导致磁盘IO过高,机器直接挂掉。 为减少磁盘IO操作,将日志写如内存分区;但日志量太大,很容易将内存写满。 Nginx支持日志压缩功能,具体如下: access_log path format gzip[=level] [buffer=size] [flush=time]; If either the

talance的专栏 2744

彻底解决Failed to configure a DataSource: ‘url‘ attribute is not specified and no embedded datasource

Failed to configure a DataSource: ‘url‘ attribute is not specified and no embedded datasource

renkai721的专栏 24万+

Nginx日志删除后磁盘空间未释放的原因及处理方法

如果你的系统配置了日志轮转(例如使用 logrotate 工具),在轮转过程中,旧日志会被压缩或移动,但是在某些情况下,logrotate 可能没有正确清理旧日志文件,或者 Nginx 没有及时关闭旧的日志文件句柄。确保你已经配置了适当的日志轮转策略,避免日志文件过大。这段配置将每天轮转 Nginx 日志,并保留最近7个轮转日志文件,压缩旧日志文件,同时确保 Nginx 在轮转后会重新打开日志文件。这会让 Nginx 关闭当前日志文件,并打开一个新的日志文件,从而释放已经删除日志文件占用的磁盘空间。

qq_41586848的博客 1192

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

Nginx日志定时清理

Nginx日志定时备份,删除

lian@qiao的博客 3440

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

当Nginx所在服务器的磁盘空间满了,会有什么影响及如何避免这种问题

最近遇到一个问题是,nginx所在服务器磁盘满了,导致前端页面上的一个文件上传功能不好使了,搞得我排查半天,找不见原因,最后发现是nginx的磁盘满了导致,清理了里磁盘的一些没用的日志之后,再次调用,功能正常使用了。Nginx所在服务器的磁盘空间满了,会导致日志无法写入、缓存失效、反向代理请求异常等问题,严重时可能导致服务不可用。Nginx在处理请求时,特别是反向代理大文件、上传或下载文件时,会在磁盘上创建临时文件。通过合理的监控和维护,可以有效保障Nginx的稳定运行,避免因磁盘空间不足而导致服务故障。

G探险者的博客 1732

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

运维-nginx日志导致磁盘空间100%的解决记录

在运维中,nginx的access log默认是开启的,如果设置不当可能导致磁盘爆满,并且在删除了日志文件之后依然没有解决。2 删除文件,但是磁盘剩余没有增加时,可以通过以下命令确认是否有已经删除的文件还在占用进程。显示nginx的worker进程没有正常关闭。用kill命令将其关闭后磁盘正常。1 清除日志时候通过往文件写入空的方式。

weixin_42124960的博客 531

磁盘满导致的nginx无法接受上传文件事件

磁盘被占满导致文件上传失败,Nginx报错500

noobJ的博客 465

Nginx 日志轮转

Nginx 的日志轮转是保证 Web 服务器持续健康运行的关键措施。通过合理配置日志轮转策略,管理员可以避免日志文件占用过多磁盘空间、提高系统的性能并确保日志管理的高效性。通过与logrotate配合使用,Nginx 可以实现日志文件的自动归档、压缩和清理,从而确保服务器的稳定性和可维护性。掌握日志轮转的配置方法和最佳实践,将帮助你更好地管理 Nginx 的日志,提升系统的可靠性和安全性。

Flying_Fish_roe的博客 1741

log 文件越来越大导致磁盘满问题

最近由于业务的增加,很多组件中uwsgi 和 nginx 的日志增长的比较快,硬盘空间小的机器资源容易耗尽。导致业务受影响。 因为业务日志都会写到syslog中,而nginx 和uwsgi 一般只放在本地,所以log文件会越来越大。   如下图,                解决方案:   一、增加各组件机器的监控,及时发现问题 二、日志定时转存,及时删除旧的日志,防止...

wangleide414的专栏 3424

HoRain云--如何开启NGINX的debug日志?3步快速定位问题

通过开启debug日志,开发者可以深入分析NGINX的内部处理流程。但需注意调试完成后及时关闭,避免影响服务器性能。建议结合grep命令过滤关键日志信息,提高排查效率。❤️❤️❤️本人水平有限,如有纰漏,欢迎各位大佬评论批评指正!😄😄😄👍 👍 👍🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧!🌙🌙🌙。

2401_86544677的博客 1049
上一篇: 两个arrayList合并
下一篇: java 求在 listA中存在 在listB中不存在的元素
琅琊山二当家
博客等级 码龄18年 447粉丝 322原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值