磁盘空间满问题排查方法

分析:

导致该问题的可能原因包括:
1、磁盘分区空间使用率达到百分之百。
2、 磁盘分区inode使用率达到百分之百。
3、僵尸文件:已删除文件因句柄被占用未释放导致相应空间未释放。
4、 挂载点覆盖:在原有文件系统的相应目录下已经存在大量文件。挂载了新磁盘后,导致使用 df 命令能统计到相关空间使用,而使用 su 命令统计不到。

解决方法:

一:分区容量满
1、运行 df -h 查看磁盘使用率。
2、重复执行 du -sh /* 命令,找到容量比较大的目录并进入目录,直到找到最精确的文件或目录,再结合业务情况等进行判断,删除相关文件或目录。也可以选择更换大磁盘。

二:inode容量满
1、把下面的命令写进脚本,循环执行。
for i in /*;
do
echo $i;
find $i | wc -l;
done
2、逐层进入inode占用最高的目录,继续执行上述指令,逐步定位占用过高空间的文件或目录,最后进行相应清理。

三:修改inode数量
node节点中,记录了文件的类型、大小、权限、所有者、文件连接的数目、创建时间与更新时间等重要的信息,还有一个比较重要的内容就是指向数据块的指针。一般情况不需要特殊配置;如果存放文件很多,需要配置。有时磁盘空间有剩余但是不能存放文件,可能是由于inode耗尽所致。
inode的调整需要重新格式化磁盘,请确保您已经备份了数据再执行以下操作。
1、运行以下命令查询inode使用情况。

            df -i

2、 运行以下命令解除挂载。假设为 /opt/。
umount /opt/

  1. 运行以下命令重新建立文件系统,指定inode节点数。
    mkfs.ext3 /dev/sdb -N 1778866

  2. 运行以下命令查看修改后的inode节点数。
    dumpe2fs -h /dev/sdb | grep node

四:僵尸文件分析删除
如果磁盘和inode都没有问题,则需要查看是否存在未被清除句柄的僵死文件。这些文件实际上已经被删除,但是有服务程序在使用这些文件,导致这些文件一直被占用,无法释放磁盘空间。如果这些文件过多,会占用很大的磁盘空间。

1、运行以下命令查看僵尸文件占用情况。
lsof |grep delete | more

清除僵尸文件:
1、重启服务器
2、正常停止或杀掉占用这些文件的服务进程。

五:挂载点覆盖

先取消磁盘挂载,再检查原挂载目录下的空间占用情况。

转载于:https://blog.51cto.com/13544166/2055255

<think>嗯,用户想知道Linux服务器磁盘空间了时的排查方法和解决思路。首先,我需要回忆一下相关的知识,然后结合提供的引用资料来整理出一个清晰的步骤。 首先,用户可能遇到了磁盘空间问题,导致应用服务可用,比如报错“No space left on device”。这时候,作为管理员,应该怎么一步步排查呢? 根据引用中的资料,比如引用[3]提到了使用df -h查看磁盘使用情况,然后du命令分析目录大小,还有lsof找已删除但未释放的文件。引用[5]也提到了类似的步骤,包括检查业务文件、系统盘分配、分析磁盘占用,以及考虑Docker容器的问题。 那应该先整体查看磁盘使用情况,用df -h确认哪个分区了。比如,用户可能看到/dev/sda3使用率100%。接下来,需要找到占用空间大的目录,可以用du命令,比如du -hs /* | sort -rh | head -10,查看根目录下各目录的大小,找出占用最多的。 但有时候可能遇到目录显示占用的空间总和与实际符的情况,这可能是因为有大文件被删除但进程仍占用,导致空间未释放。这时候需要用lsof +L1或者lsof | grep deleted来查找这些文件,然后通过重启相关进程或者清空文件描述符来释放空间,如引用[3]中提到的例子,用echo "" > /proc/PID/fd/XX来释放。 另外,可能还需要检查日志文件,比如应用日志、系统日志(/var/log)是否过大,或者临时目录/tmp是否有大量文件。有些情况下,像MySQL的binlog或者Docker的容器日志也可能占用大量空间,需要检查这些地方。 还有可能磁盘空间被隐藏的大文件占用,比如用find命令查找大文件:find / -type f -size +1G -exec ls -lh {} \;。或者检查是否有过多的旧内核文件占用了/boot分区,这在使用Ubuntu时常见。 如果用户使用的是云服务器,比如阿里云,可能有监控告警,这时候需要结合告警信息快速定位问题。例如,引用[3]中提到收到阿里云的告警后,通过一系列步骤排查出Nginx占用了已删除的大文件。 此外,处理完成后,可能需要设置日志轮转、定期清理旧文件,或者扩展磁盘分区来预防未来的问题。引用[5]也提到检查Docker容器产生的文件,所以如果有容器运行,需要检查相关日志和卷的使用情况。 总结起来,步骤应该是:确认磁盘状态→定位大目录/文件→处理特殊文件(如已删除未释放)→检查日志和临时文件→考虑应用或容器相关的问题→最后优化和预防。需要确保每个步骤都清晰,并给出具体的命令示例,方便用户操作。</think>### Linux服务器磁盘空间排查方法及解决思路 #### 一、确认磁盘使用状态 1. **查看磁盘整体使用情况** 使用 `df -h` 命令快速定位的分区: ```bash df -h ``` 输出示例: ``` Filesystem Size Used Avail Use% Mounted on /dev/sda3 50G 49G 0 100% / ``` 若 `Use%` 达到或接近 **100%**,说明该分区已[^3][^4]。 --- #### 二、定位大文件或大目录 2. **分析目录占用空间** 使用 `du` 命令逐层排查占用最大的目录: ```bash du -hs /* | sort -rh | head -10 ``` 该命令会显示根目录下占用最大的前10个目录,如 `/var`、`/usr` 或 `/home`[^5]。 3. **查找隐藏的大文件** 若目录占用总和与 `df` 结果一致,可能是存在已删除但未释放的文件(常见于日志文件被删除但进程仍占用)。 使用 `lsof` 命令查找此类文件: ```bash lsof +L1 # 显示已删除但未释放的文件 lsof | grep deleted # 显示被标记为“deleted”的文件 ``` 若发现如 `/var/log/nginx/access.log (deleted)`,表示该文件已被删除但进程仍占用空间[^4]。 --- #### 三、处理特殊场景 4. **释放被进程占用的文件** 若需释放空间且能重启进程(如线上服务),可通过清空文件描述符释放资源: ```bash echo "" > /proc/<PID>/fd/<FD_NUM> ``` 例如,针对PID为1650450的进程占用的文件描述符67: ```bash echo "" > /proc/1650450/fd/67 ``` 此操作会释放文件占用的空间。 5. **检查日志文件** 常见日志文件占用场景: - **应用日志**:如Nginx的 `/var/log/nginx/access.log`。 - **系统日志**:通过 `journalctl --disk-usage` 查看系统日志占用。 - **临时文件**:检查 `/tmp` 目录是否有残留文件。 可通过日志轮转(`logrotate`)或手动清理解决[^5]。 6. **检查Docker或容器** 若服务器运行Docker,检查容器日志和存储卷: ```bash docker system df # 查看Docker磁盘使用 du -hs /var/lib/docker/containers/*/*-json.log # 检查容器日志 ``` 清理方法: ```bash truncate -s 0 /var/lib/docker/containers/*/*-json.log # 清空日志文件 ``` --- #### 四、预防措施 1. **设置日志轮转规则** 修改 `/etc/logrotate.conf` 或应用专属配置(如Nginx的 `/etc/logrotate.d/nginx`),限制日志文件大小和保留时间。 2. **监控与告警** 使用工具如 `Prometheus` + `Grafana` 或云服务商监控(如阿里云监控),设置磁盘使用率阈值告警[^5]。 3. **扩展磁盘分区** 若频繁出现空间足,可考虑扩容磁盘或挂载新硬盘,并通过 `LVM` 动态调整分区大小。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值