[项目实战]Linux运维：磁盘空间告警引发的常见问题及解决方案

Doug.

已于 2024-12-05 13:59:24 修改

阅读量1.3k

点赞数 21

分类专栏：业务方案文章标签： linux 阿里云运维运维开发服务器

于 2024-12-05 13:58:03 首次发布

本文链接：https://blog.youkuaiyun.com/liliYoung_/article/details/144261337

版权

业务方案专栏收录该内容

17 篇文章

订阅专栏

如何有效排查和解决磁盘空间告警问题

在日常运维中，磁盘空间的告警虽然不如内存或CPU那样频繁，但一旦发生，往往会影响应用的正常运行。特别是在一些应用没有频繁读写磁盘的情况下，磁盘告警可能容易被忽视。本文将详细介绍如何排查和解决磁盘空间满的问题，帮助大家更高效地定位磁盘空间占用的根源，并给出几种常用的解决方法。

1. 确认告警信息的准确性

磁盘告警通常表明某个分区或磁盘的空间即将用尽。我们首先需要确认告警信息是否准确，避免因误报引起不必要的操作。

通过以下命令查看当前磁盘的使用情况：

df -Hl

这条命令会显示所有挂载分区的磁盘使用情况，特别注意“Used”和“Available”字段。如果告警信息显示某个磁盘已经满了，我们可以根据 df 命令输出的结果来验证。

例如，假设 /dev/vda1 这个分区占用了43GB的空间，与告警信息一致，那么我们可以继续下一步，分析磁盘空间的具体占用情况。

2. 定位占用大量磁盘空间的目录或文件

一旦确认告警信息无误，下一步就是找出哪些目录或文件占用了大量空间。最常见的方法是使用 du 命令查看各个目录的空间占用。

2.1 基本方法：使用 `du` 命令

执行以下命令可以列出当前目录下每个子目录的大小：

du -hs *

其中，-h 参数大小写表示可读的格式输出（比如GB、MB等），-s 参数表示仅显示总计。该命令会列出当前目录下每个子目录的大小。

如果你想更加细化地查看某个目录的子目录空间占用情况，可以进入该目录并重复执行上述命令。

2.2 高效方法：使用 `du -d` 或 `du --max-depth` 参数

要提高效率，可以使用 du 命令的 -d 或 --max-depth 参数，设置扫描深度，避免扫描所有的子目录。比如，下面的命令会显示最大深度为2的目录：

du -h -d 2 | grep [GT] | sort -nr

或者：

du -h --max-depth=2 | grep [GT] | sort -nr

这条命令会快速列出所有大于1GB的目录，并按照大小排序，帮助你迅速找到占用大量空间的目录。

2.3 使用 `find` 命令查找大文件

除了 du 命令，find 命令也可以用来查找占用大量空间的文件。通过以下命令可以查找所有大于1GB的文件：

find / -type f -size +1G -exec du -h {} \;

find 命令的优点是非常灵活，可以根据文件的大小、类型等多种条件进行筛选。而且，find 执行时速度相对较快，适合快速定位大文件。

3. 磁盘空间不一致的情况

有时，使用 du 或 find 查找到的文件总大小和 df 显示的磁盘使用量并不一致。这种情况通常发生在文件被删除但其占用的磁盘空间尚未释放的情况。

3.1 被删除的文件仍占用磁盘空间

即使文件被删除，系统的某些进程仍然可能会继续占用这些文件所占用的空间。此时，可以使用 lsof 命令检查是否有文件被删除但仍被某些进程占用：

lsof +L1

这条命令会列出所有已删除但仍占用磁盘空间的文件。比如，有时候一个日志文件被删除，但由于某个应用（如Tomcat）仍在使用该文件，它占用的空间不会被释放。

3.2 解决方法

对于这种情况，最常见的解决方法是重启相关的应用（如Tomcat），以释放这些被占用的空间。

(lsof会返回对应pid，下面有解决方法实操（本文搜索：结合 lsof 释放资源），生产勿用) :

4. 磁盘空间被系统保留

在某些情况下，你可能会发现 df 命令显示的“Used”和“Available”空间之和小于磁盘的总大小。看起来似乎有部分空间“消失”了。实际上，这是 Linux 文件系统的安全机制，默认情况下，系统会为 root 用户预留一定的空间（通常是5%），以保证关键应用在磁盘满时仍有足够的空间进行操作。

4.1 调整保留空间比例

如果你确定不需要这么多的保留空间，可以使用 tune2fs 命令调整预留空间的比例。比如，以下命令将仅保留1%的空间：

tune2fs -m 1 /dev/vda1

此命令将 /dev/vda1 分区的保留空间从默认的5%减少到1%。

5. 总结

在处理磁盘空间告警时，首先要确认告警信息的准确性。通过登录服务器并使用 df 命令查看磁盘使用情况，确保告警所反映的磁盘空间确实存在问题。接下来，定位占用大量磁盘空间的根源是解决问题的关键。常见的排查方法包括使用 du 和 find 命令来查找大文件和大目录，找出占用空间的“罪魁祸首”。

如果发现磁盘空间与预期不符，可能是由于删除的文件未被正确释放，或者系统保留的空间（如根用户保留空间）未计算在内。此时，可以通过 lsof 命令查找未完全释放的文件，或者使用 tune2fs 调整系统保留空间比例。处理完这些问题后，通常还需要清理不重要的日志文件或临时文件，以进一步释放磁盘空间。

此外，在高负载环境中，定期清理过期日志和临时文件、合理调整文件系统配置、或进行磁盘扩容，也是防止磁盘空间不足的有效手段。通过这些措施，可以确保系统稳定运行，避免因磁盘空间不足而导致的服务中断或性能下降。

`[扩展一] lsof` 命令解析

lsof（List Open Files）是一个强大的命令行工具，用于列出当前系统中所有打开的文件及相关信息。在 Linux 和类 Unix 系统中，几乎所有的资源（文件、目录、套接字、管道等）都被视作文件，而 lsof 可以显示出哪些文件被哪些进程打开。这对于系统管理、故障排查及性能优化非常有用。

1. `lsof` 命令基本用法

最基本的 lsof 命令如下：

lsof

这条命令会列出所有当前被打开的文件，包括文件名、进程ID（PID）、进程名称、文件类型等信息。输出的内容非常多，通常会有成千上万行，因此需要根据具体需求加以过滤。

2. `lsof` 命令的常用选项

2.1 显示某个用户打开的文件

lsof -u username

这个命令会列出某个用户打开的所有文件。替换 username 为你感兴趣的用户名。

2.2 查找某个进程打开的文件

lsof -p PID

此命令会列出指定进程（通过其进程ID，PID）打开的所有文件。例如：

lsof -p 1234

会列出 PID 为 1234 的进程所打开的文件。

2.3 查找某个文件被哪些进程打开

lsof /path/to/file

此命令可以列出特定文件当前被哪些进程打开。比如，要检查 /var/log/syslog 文件是否正在被某个进程使用，可以运行：

lsof /var/log/syslog

2.4 显示网络连接的情况

lsof -i

这个命令会列出当前系统上所有打开的网络连接（包括 TCP、UDP 连接）。你还可以通过其他参数筛选特定类型的网络连接：

显示所有 TCP 连接：
```
lsof -i tcp
```
显示某个特定端口（例如 8080）上的连接：
```
lsof -i :8080
```
显示某个协议（如 UDP）的连接：
```
lsof -i udp
```

2.5 查看删除但仍被占用的文件

lsof +L1

当文件被删除，但仍被某些进程打开时，文件的磁盘空间仍然会被占用。使用 lsof +L1 命令可以列出所有已删除但仍被某些进程占用的文件。这对于排查磁盘空间占用非常有帮助，尤其是在文件已删除但空间没有被释放的情况下。

2.6 显示特定类型的文件

lsof -t

这个命令会列出文件的 PID（进程ID），而不会显示其他详细信息。通常用于与其他命令结合使用，如杀死特定进程：

kill -9 $(lsof -t /path/to/file)

2.7 显示进程打开的文件数

lsof -n

-n 选项会让 lsof 不解析 IP 地址和主机名，直接显示数字形式的地址，这可以加快查询速度。

3. `lsof` 输出字段解析

以下是 lsof 输出的一些重要字段及其含义：

字段	解释
COMMAND	打开文件的进程名称
PID	打开文件的进程的进程ID
USER	打开文件的进程所属的用户
FD	文件描述符（File Descriptor），表示文件在进程中的标识符
TYPE	文件类型（例如，`REG`表示常规文件，`DIR`表示目录，`CHR`表示字符设备文件等）
DEVICE	文件所在设备的设备号
SIZE/OFF	文件的大小（对于普通文件），或者文件偏移量（对于设备）
NODE	文件的节点号（inode number）
NAME	文件的完整路径名