排查并解决磁盘满了问题

原创 已于 2022-03-07 23:26:27 修改 · 1.7k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#linux #shell #运维

于 2021-09-05 23:58:41 首次发布
当磁盘空间满时，会影响系统运行。通过du--max-depth=1定位大文件，du-sh查看总占用，df-h检查磁盘状态。删除不再需要的文件，若df仍显示高占用，可能是文件被进程引用。重启服务或查找引用进程来释放空间。

文章目录

问题出现背景

  当磁盘上存储大量数据的时候，很容易就会造成磁盘使用率高，影响进程的正常执行

问题解决办法

 1.在可能导致磁盘满的根路径执行du --max-depth=1，查看该目录下各文件（夹）的磁盘占用情况
 2.进入占比高的目录，继续执行du --max-depth=1，依次直到找到造成磁盘满了的原因
 3.既然找到了原因，那么肯定是需要进行处理的，一般我们都会选择一些可以删除的数据进行删除操作。如果是一些无法删除的数据，可以先在hdfs或者其他系统上做一个备份，然后进行删除
 4.删除之后，使用du -sh查看磁盘占用情况。
如果降下来了，再使用df -h进行查看。如果两个命令执行完之后磁盘占用都降下来了，那么就说明问题已解决
 5.如果执行du -sh的时候磁盘使用率低。但是使用df -h的时候，磁盘的使用率高。那就说明是刚刚删除的文件中，有的被进程所引用，虽然文件被删除，但是实际占用的磁盘仍然还是占用。这里可能会疑惑du和df之间的不同表现，可以看下面的知识点部分
 6.当出现第5步的情况的时候，可以考虑一下刚刚删除的文件被哪个进程引用了，可以试着重启服务

涉及知识点

  1. 上面使用到了du 和df的相关命令
  2. du --max-depth=1：输出当前目录下各文件（目录）的大小，仅限于当前目录下，不递归
  3. du -sh：以合适的单位（K,M,G）显示当前目录的总计大小
  4. df -h：以合适的单位（K,M,G）显示当前目录在文件系统中的使用大小
  5. du和df的区别：
    du统计的是指定目录下子目录大小的累计和，可以理解统计的只是当前状态下可以看得到的，那么如果一个文件被删掉了，就不会被统计到
    df是从文件系统的角度进行统计，即统计的是inode的使用率。当删除文件的时候，如果这个文件是被其他进程打开文件句柄的话，那么就表示该inode就是被引用状态。根据系统的引用清除规则，并不会删除对应磁盘数据。所以一个文件句柄引用了被删除的文件，状态会是deleted。使用df进行统计的时候，依然可以看得到
HDFS磁盘写满问题分析
李姓门徒
03-18 1941
探讨hdfs的datanode节点磁盘被写满的原因分析和相关规避方案。[关于常见分布式组件高可用设计原理的理解和思考](https://blog.youkuaiyun.com/weixin_43845924/article/details/135713107)
Linux df排查磁盘资源占用inode已满及解决方法
QAQqazwsx的博客
03-28 1704
Linux df排查磁盘资源占用inode已满及解决方法
HDFS某个节点的磁盘满了
SunnyRivers
12-23 5325
前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在哪里进不去，于是我很快登上WebUi，看到了这么一幕： 这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replica）？这里需要针对可靠性、写入带宽和读取带宽进行权衡。例如，把所有复本都存储在一个节点损失的写...
HDFS文件空间检查、清空回收站和操作命令
04-18 1902
如何检查HDFS文件空间，清空回收站，以及文件和Job操作的命令。此外，还提供了统计文件和目录个数的命令。
linux线上问题-磁盘空间爆满排查与清理
我的博客
10-01 935
本文详细介绍了Linux系统磁盘空间排查与优化的完整流程。主要内容包括：1）系统化排查步骤，通过诊断流程图和关键命令矩阵指导快速定位空间占用问题；2）日志专项处理和自动化清理脚本示例；3）生产环境安全清理建议；4）特殊场景如已删除文件未释放、LVM扩容的解决方案；5）企业级存储架构优化建议和工具推荐。文章提供了可落地的技术方案，涵盖从基础命令到自动化运维的全套方法，并特别强调了生产环境下的操作安全注意事项。
大数据运维日记之清理磁盘
Maynor的博客
08-16 3036
在平时删除HDFS文件时，可以使用命令：hdfs dfs -rm -skipTrash /path/to/file/you/want/to/remove/permanently，这样的话文件就直接删除了，不会放在回收站（注：此种删除为永久删除，无法恢复数据），用这个命令删除HDFS数据的话，后期就无需清空HDFS回收站。对于很多CDH使用者来说，随着时间的推移，磁盘空间会越来越少，除了一部分数据占用外，其他的一部分空间不知道保存着什么数据，无法清理，本博主今天就分享一下定期清理CDH集群指南。...
磁盘内存满了的问题
weixin_45574151的博客
02-01 651
磁盘内存满了的问题 有时候会碰到内存满了，怎么解决 1、内存满了，先找出占用空间大的那个目录删除不常用的或无用的文件 #df -h #du -sh * #du -h --max-depth=1 /home 2、如果删除完后发现以下问题 #df -h 这个命令发现内存还是100% #du -sh * 这个命令一步一步查下去并没发现大文件，或者大文件已经被删除 3、明明上面已经删除了大文件，为什么空间还是没有释放，这个时候不慌，没有释放空间无非就那么几个解决思路： #df -i 这个时候发现原来
​Nginx磁盘空间占用异常问题排查与解决方案记录
02-28
使用命令iotop
CentOS 磁盘空间不足的排查与解决（以虚拟机为例）
最新发布
Knight
10-14 852
CentOS磁盘空间不足的完整解决方案：首先通过df -h和du -sh排查根分区爆满问题，发现/var/lib/docker和/opt是主要占用目录。临时清理方法包括：删除无用的Docker资源（docker system prune）、清理yum缓存、旧内核和日志文件。长期解决方案是新增磁盘：在虚拟机控制台添加硬盘后，使用fdisk分区（创建扩展分区sda4和逻辑分区sda5），格式化（mkfs.xfs）并挂载到/data目录，最后迁移大目录如Docker数据到新磁盘。整个过程涵盖从问题排查到永久扩容的
浅谈TiKV集群运维问题排查与修复——磁盘空间占用问题
vivo互联网技术
10-31 1023
本文介绍了TiKV磁盘空间问题的排查思路与解决方案。
【Influxdb V2.0】数据备份文件占用过多磁盘，问题排查及解决
xbl的博客
09-27 9375
一、问题描述 发现测试环境与生产环境中，Influxdb每日本地备份的数据文件磁盘占用大小差距过大。 这是生产环境当前的数据备份： 这是测试环境当前的数据备份： 生产环境数据量远远多余测试环境，但生产环境上日备份的数据仅需要100k左右，而测试环境日备份的数据竟然需要400M左右。 在谷歌进行搜索，由于2.0版本最近才发布，用户量比较少，所以基本上找不到相关的问题，故自行对其排查了一番。 二、问题排查 三、问题解决 ...
HDFS磁盘满了扩容
junehappylove（王俊伟）的专栏
11-06 1404
所有文件放在VirtualBox虚拟机中，项目中在HDFS存的数据文件已满，增加磁盘扩容 将新增的磁盘挂载到/root/work路径步骤： 1. 添加新硬盘 设置 -> Storage -> SATA控制器->右击，选择“添加虚拟硬盘” 然后，根据需求创建合适的硬盘 2. 重启虚拟机 查看现有的磁盘空间 sudo fdisk -l 可看到新加的虚拟硬...
HDFS磁盘满额导致Hive写入失败
cainiao1412的博客
08-04 1256
继续观察错误信息还有：could only be written to 0 of the 1 minReplication nodes. There are 3 datanode(s) running and 3 node(s) are excluded in this operation，即没有写入的节点了。主要错误信息体现在：Error committing write to Hive，即Hive写入失败。最终观察HDFS磁盘用满了，因此做出相应的拓容操作解决。...
HDFS存储数据倾斜-某个节点磁盘打满告警，如何处理？
qq_33705071的博客
06-24 204
原文来自微信公众号：阿龙学堂；
hdfs磁盘剩余空间少如何处理
qqCEM的博客
01-16 1522
hdfs dfs -du -h / 查看每个文件夹所占用的空间 删除占空间较大的文件
hadoop的hdfs手工清理磁盘空间指令
kingrootZ的博客
10-07 1110
手工执行删除指令
hadoop hdfs空间满后重启不了
很青的青蛙专栏
08-06 3267
服务器检查的时候，发现存在HDFS上的文件无法同步，再发现hadoop停掉了。进行重启，重启不成功。 经过一系列的操作，终于把hadoop集群重启并恢复数据。
HDFS磁盘清理维护
蜀门嗯哼的博客
03-09 2903
HDFS磁盘查看清理
磁盘持续写入及空间占满问题的排查与解决方案
07-16
<think>嗯，用户需要排查磁盘持续写入和空间占满的问题。从历史引用看，用户可能是在Linux环境下遇到这个问题，特别是容器环境（如Docker）导致的日志占满空间的情况。 用户的问题可以拆解为两个核心需求：一是如何找到持续写入的来源，二是如何清理和预防空间占满。需要结合系统监控工具和容器管理知识来解答。 首先想到用df和du定位空间占用。df能快速看到分区使用率，du可以深入目录分析。如果发现/var/lib/docker异常增大，基本能确定是容器日志问题——这正是引用[3][4]提到的典型场景。 对于持续写入的追踪，iotop和lsof是利器。iotop能实时显示磁盘IO进程，比top更直观；lsof则能锁定具体进程打开的文件。如果用户看到某个Java进程持续写日志，就能针对性处理。 关于解决方案，除了基础的rm清理，更需要预防措施。容器日志的json-file驱动默认不限制大小很危险，必须配置日志轮转。引用[4]提到的清理方法稍显粗暴，更推荐用logrotate或daemon.json配置限制。 用户可能没意识到inode耗尽的情况（引用[1]），需要补充说明。find配合-mmin可以找近期修改的文件，这对追踪"看不见"的小文件很有用。 最后要提醒长期维护策略：监控工具部署和日志归档。特别是业务量大的场景，不能总等问题发生了才处理。 准备用分步骤的排查流程来组织回答：先空间定位，再写入源追踪，最后分场景解决。尤其要强调容器日志的处理方案，因为历史引用表明这是高频问题点。</think>以下是排查磁盘持续写入及空间占满问题的完整解决方案： --- ### **一、快速定位问题根源** #### 1. **查看磁盘整体使用情况** ```bash df -hT # 检查各分区占用率（重点关注 /var、/opt、/home） df -i # 检查Inode使用率（小文件过多可能导致Inode耗尽） ``` - 若某分区使用率 >90%，需立即清理 - 若`/var/lib/docker`占用过高 → 容器日志问题（参考引用[2][4]） - 若`/opt`占用过高 → 应用日志或临时文件堆积（参考引用[3]） #### 2. **定位大文件/目录** ```bash # 扫描占用最大的目录（从根目录开始） du -xh / --max-depth=1 2>/dev/null | sort -rh | head -n 20 # 精确到具体目录（示例：检查/var） du -sh /var/* | sort -rh ``` - 常见问题目录： - `/var/log`（系统日志） - `/var/lib/docker/containers`（容器日志，引用[4]） - `/tmp`（临时文件） #### 3. **追踪持续写入的进程** ```bash # 实时监控磁盘I/O iotop -oPa # 显示实际磁盘读写进程 # 查找正在写入文件的进程 lsof +L1 # 显示已删除但未释放空间的文件（空间未释放时使用） lsof /path/to/full/partition # 查看指定分区的打开文件 ``` --- ### **二、针对性解决方案** #### ▶ **场景1：容器日志占满空间（Docker环境）** **原因**：容器默认持续生成日志文件（`/var/lib/docker/containers/*/*-json.log`） **解决步骤**： 1. **紧急释放空间**： ```bash # 清理所有容器日志（不影响运行中的容器） truncate -s 0 /var/lib/docker/containers/*/*-json.log # 或删除特定大日志文件 rm /var/lib/docker/containers/<container_id>/*-json.log ``` 2. **永久限制日志大小**： 修改 `/etc/docker/daemon.json`（无则新建）： ```json { "log-driver": "json-file", "log-opts": { "max-size": "100m", "max-file": "3" } } ``` 重启服务：`systemctl restart docker`（引用[4]） #### ▶ **场景2：系统日志或应用日志暴增** **排查命令**： ```bash # 查看最近修改的大文件 find /var/log -type f -mtime -1 -size +100M -exec ls -lh {} \; # 分析日志内容（示例：检查Nginx日志） tail -f /var/log/nginx/access.log | grep -v '健康检查' ``` **解决方案**： - 日志轮转：配置 `logrotate` 编辑 `/etc/logrotate.conf`，增加压缩和保留策略： ```conf /var/log/nginx/*.log { daily rotate 7 compress missingok notifempty } ``` - 禁用无效日志：修改应用配置关闭调试日志 #### ▶ **场景3：已删除文件未释放空间** **表现**：`df`显示空间不足，但`du`找不到大文件 **原因**：文件被删除但进程仍持有句柄（常见于未重启的服务） **解决**： ```bash # 查找此类文件 lsof | grep deleted # 重启持有文件的进程（示例：重启Nginx） systemctl restart nginx ``` --- ### **三、预防措施** 1. **监控预警**： - 配置 `crontab` 每日检查磁盘： ```bash #!/bin/bash ALERT=90 df -H | awk '{print $5 " " $6}' | while read output; do usage=$(echo $output | awk '{print $1}' | cut -d'%' -f1) partition=$(echo $output | awk '{print $2}') [ $usage -ge $ALERT ] && echo "空间告警: $partition ($usage%)" done ``` 2. **自动清理**： - 定期清理 `/tmp`：`crontab -e` 添加： ```bash 0 3 * * * find /tmp -type f -mtime +7 -delete ``` 3. **日志分级**： - 将业务日志存储到独立分区，避免影响系统分区 --- ### **常见错误排查流程图** ```mermaid graph TD A[磁盘空间不足] --> B{df -h 查看分区} B -->|某分区满| C[du 定位大目录] B -->|Inode满| D[find / -xdev -printf '%h\n' | sort | uniq -c | sort -k1 -n] C --> E{是否为容器日志?} E -->|是| F[清理或限制Docker日志] E -->|否| G[检查应用日志/tmp文件] D --> H[删除小文件或迁移目录] ``` ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值