Linux服务器出现：No space left on device的解决方法及 linux inode, block区域讲解

最新推荐文章于 2024-10-08 14:17:44 发布

guyue35

最新推荐文章于 2024-10-08 14:17:44 发布

阅读量3.9k

点赞数 3

分类专栏： linux 文章标签： linux space left device inode

本文链接：https://blog.youkuaiyun.com/guyue35/article/details/104309394

版权

linux 专栏收录该内容

15 篇文章

订阅专栏

Linux服务器出现：No space left on device的解决方法_运维_DRACOYU的博客-优快云博客
https://blog.youkuaiyun.com/chanbo8205/article/details/85229453

Linux服务器出现：No space left on device的解决方法

报错信息：

2016-06-02 23:56:26 [com.thinkive.server.logger.TradeLogger]-[ERROR]

java.io.IOException: No space left on device

at java.io.FileOutputStream.writeBytes(Native Method)

at java.io.FileOutputStream.write(FileOutputStream.java:282)

at sun.nio.cs.StreamEncoder.writeBytes(StreamEncoder.java:202)

at sun.nio.cs.StreamEncoder.implFlushBuffer(StreamEncoder.java:272)

at sun.nio.cs.StreamEncoder.implFlush(StreamEncoder.java:276)

at sun.nio.cs.StreamEncoder.flush(StreamEncoder.java:122)

at java.io.OutputStreamWriter.flush(OutputStreamWriter.java:212)

at com.thinkive.server.logger.TradeLogger$LoggerThread.flushLogFile(TradeLogger.java:404)

at com.thinkive.server.logger.TradeLogger$LoggerThread.run(TradeLogger.java:322)

服务器磁盘不足，df -h 一下，var下正常，还有剩余，发现问题没有，到后来显示大量的No space left on device:

/var明明还有很大的空间，为什么就提示“没有足够的空间”了呢?结果用到了df -i命令查看磁盘的节点发现如下图：

节点100%了.

这个时候用户可以先看下日志文件是否太多，如果是日志文件占用大量的inodes可以临时释放清理下过期的日志。

以下是检查inodes满的某一种情况，仅供参考：

查看原来是crontab里面定时执行的句子里没有加 > /dev/null 2>&1,系统中cron执行的程序有输出内容，输出内容会以邮件形式发给cron的用户，而sendmail没有启动所以就产生了很大零碎的文件：

cd /var/spool/clientmqueue/ 进入这个目录，删掉这些没用的文件，用ls 查看一下，结果是没有反应，文件太多，于是就用到了这个命令：ls |xargs rm -rf 可以分批的处理删除文件

操作到该步骤，可以根据较大目录的文件占用情况，临时转移部分文件到占用磁盘较小的目录中。

最近这两天登陆服务器，发现用 wget 下载文件的时候提示“No space left on device”，而且连使用 tab 键进行补全时也会提示该错误。

之前遇到过一次这种问题，是由于磁盘空间被占满了，导致无法创建新文件。正常情况下，删除一些文件来释放空间，即可解决该问题。

当我使用 df 命令查看分区情况时，结果如下：

# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/vda1 29G 29G 0 100% /

udev 10M 0 10M 0% /dev

tmpfs 101M 232K 100M 1% /run

tmpfs 5.0M 0 5.0M 0% /run/lock

tmpfs 405M 0 405M 0% /run/shm

看到这里，我以为磁盘真的被 100% 占用了，于是就查看了各目录的占用情况：

# du -sh /*

8.8M /bin

30M /boot

0 /dev

5.3M /etc

24K /home

0 /initrd.img

205M /lib

4.0K /lib64

16K /lost+found

8.0K /media

4.0K /mnt

4.0K /opt

0 /proc

2.5G /root

232K /run

5.2M /sbin

8.0K /srv

0 /sys

4.0K /tmp

2.6G /usr

1.8G /var

0 /vmlinuz

很明显，总共的磁盘占用完全不到 10G，磁盘理论上并未被占满。

这种情况下，很可能是小文件过多，导致 inode 急剧增加，消耗完 inode 区域的空间。

如果真是如此，那么即使磁盘空间有剩余，但由于无法创建新的 inode 来存储文件的元信息，也就无法创建新文件。

因此，我用 df 命令进行验证：

# df -ih

Filesystem Inodes IUsed IFree IUse% Mounted on

/dev/vda1 1.9M 299K 1.6M 17% /

udev 123K 299 123K 1% /dev

tmpfs 126K 249 125K 1% /run

tmpfs 126K 4 126K 1% /run/lock

tmpfs 126K 2 126K 1% /run/shm

可以看到，inode 区域只被占用了一小部分，还有大量的空间未使用，所以也不是 inode 区域被占满的问题。

到了这里，我的内心是非常郁闷的。这个问题直接导致了Apache、MySql以及其它的一些服务均无法启动，服务器已经基本没法使用了，然而原因却扑朔迷离。

最后，服务器提供商告诉我另一种可能的情况，就是有些文件删除时还被其它进程占用，此时文件并未真正删除，只是标记为 deleted，只有进程结束后才会将文件真正从磁盘中清除。

于是我通过 lsop 命令查看了被进程占用中的文件：

# lsof | grep deleted

mysqld 1952 2982 mysql 5u REG 254,1 0 127 /tmp/ibzMEe4z (deleted)

mysqld 1952 2982 mysql 6u REG 254,1 0 146 /tmp/ibq6ZFge (deleted)

mysqld 1952 2982 mysql 10u REG 254,1 0 150 /tmp/ibyNHH8y (deleted)

apache2 2869 root 9u REG 254,1 0 168 /tmp/.ZendSem.2w14iv (deleted)

apache2 2869 root 10w REG 0,16 0 11077 /run/lock/apache2/rewrite-map.2869 (deleted)

...

python 3102 root 1w REG 254,1 22412342132 264070 /var/log/nohup.out (deleted)

终于找到了罪魁祸首，原来是在后台运行的 Python 脚本，源源不断地将输出保存到 /var/log/nohup.out 文件中，文件大小居然达到了20G+！

前阶段在后台运行脚本之后，就没再管过它。估计是我在 Python 运行过程中删掉了 nothup.out 文件，由于该文件被占用，所以只能先标记为 deleted，而未真正删除，最后导致磁盘爆满。

这次的教训提醒了我，不能将任务简单放到后台就放任不管，特别是使用 nohup 命令时，所有的输出都会被不断地添加到同一个文件中，如果该进程不会自己终止，就可能导致输出文件占满整个磁盘。

=============================================================================

简单了解Linux的inode与block - 苦逼运维 - 博客园
https://www.cnblogs.com/diantong/p/10504513.html

简单了解Linux的inode与block

Linux常见文件系统类型：ext3（CentOS5），ext4（CentOS6），xfs（CentOS7）

Windows常见文件系统类型：FAT32，NTFS

(1).inode的内容

1）inode包含文件的元信息，具体来说有以下内容：

文件的字节数

文件拥有者的User ID

文件的Group ID

文件的读、写、执行权限

文件的时间戳，共有三个：ctime指inode上次文件属性变动的时间，例如：chmod +x a.sh；mtime指文件内容上次变动的时间，例如：echo aa >> a.sh或vim a.sh；atime值文件上次打开的时间，例如：cat a.sh。

链接数，即有多少文件名指向这个inode

文件数据block的位置

2）我们可以用stat命令，查看某个文件的inode信息：

[root@xuexi ~]# stat /etc/passwd

文件："/etc/passwd"

大小：2257 块：8 IO 块：4096 普通文件

设备：803h/2051d Inode：17324457 硬链接：1

权限：(0644/-rw-r--r--) Uid：( 0/ root) Gid：( 0/ root)

环境：system_u:object_r:passwd_file_t:s0

最近访问：2019-03-08 11:00:01.672759577 +0800

最近更改：2019-02-13 16:19:23.303395879 +0800

最近改动：2019-02-13 16:19:23.305395782 +0800

创建时间：-

[root@xuexi ~]# echo $LANG //查看当前语言

zh_CN.UTF-8

[root@xuexi ~]# LANG="en_US.UTF-8" //语言临时转为英文

[root@xuexi ~]# stat /etc/passwd

File: ‘/etc/passwd’

Size: 2257 Blocks: 8 IO Block: 4096 regular file

Device: 803h/2051d Inode: 17324457 Links: 1

Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)

Context: system_u:object_r:passwd_file_t:s0

Access: 2019-03-08 11:00:01.672759577 +0800

Modify: 2019-02-13 16:19:23.303395879 +0800

Change: 2019-02-13 16:19:23.305395782 +0800

Birth: -

[root@xuexi ~]# ll /etc/passwd //ll其实就是查看文件的inode信息

-rw-r--r--. 1 root root 2257 Feb 13 16:19 /etc/passwd //ll查看到的时间是ctime时间

3）测试ctime，mtime和atime

[root@xuexi ~]# touch a.txt

[root@xuexi ~]# stat a.txt

File: ‘a.txt’

Size: 0 Blocks: 0 IO Block: 4096 regular empty file

Device: 803h/2051d Inode: 34042450 Links: 1

Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)

Context: unconfined_u:object_r:admin_home_t:s0

Access: 2019-03-08 14:24:17.272886924 +0800

Modify: 2019-03-08 14:24:17.272886924 +0800

Change: 2019-03-08 14:24:17.272886924 +0800

Birth: -

[root@xuexi ~]# date -s "2019-03-07 14:29:49" //修改系统时间

Thu Mar 7 14:29:49 CST 2019

[root@xuexi ~]# chmod +x a.txt

[root@xuexi ~]# stat a.txt //可以看到’ chmod +x a.txt’修改了ctime

File: ‘a.txt’

Size: 0 Blocks: 0 IO Block: 4096 regular empty file

Device: 803h/2051d Inode: 34042450 Links: 1

Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)

Context: unconfined_u:object_r:admin_home_t:s0

Access: 2019-03-08 14:24:17.272886924 +0800

Modify: 2019-03-08 14:24:17.272886924 +0800

Change: 2019-03-07 14:30:32.246910417 +0800

Birth: -

[root@xuexi ~]# echo aa >> a.txt

[root@xuexi ~]# stat a.txt //可以看到’ echo aa >> a.txt’修改了mtime和ctime

File: ‘a.txt’

Size: 3 Blocks: 8 IO Block: 4096 regular file

Device: 803h/2051d Inode: 34042450 Links: 1

Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)

Context: unconfined_u:object_r:admin_home_t:s0

Access: 2019-03-08 14:24:17.272886924 +0800

Modify: 2019-03-07 14:31:19.164728344 +0800

Change: 2019-03-07 14:31:19.164728344 +0800

Birth: -

[root@xuexi ~]# vim a.txt

//添加了一行bbb

[root@xuexi ~]# stat a.txt //可以看到’ vim a.txt’修改了atime，ctime和mtime

File: ‘a.txt’

Size: 7 Blocks: 8 IO Block: 4096 regular file

Device: 803h/2051d Inode: 34729170 Links: 1

Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)

Context: unconfined_u:object_r:admin_home_t:s0

Access: 2019-03-07 14:32:42.604862498 +0800

Modify: 2019-03-07 14:32:42.604862498 +0800

Change: 2019-03-07 14:32:42.605945804 +0800

Birth: -

[root@xuexi ~]# cat a.txt

aa

bbb

[root@xuexi ~]# stat a.txt //可以看到’ cat a.txt’修改了atime

File: ‘a.txt’

Size: 7 Blocks: 8 IO Block: 4096 regular file

Device: 803h/2051d Inode: 34729170 Links: 1

Access: (0755/-rwxr-xr-x) Uid: ( 0/ root) Gid: ( 0/ root)

Context: unconfined_u:object_r:admin_home_t:s0

Access: 2019-03-07 14:34:27.525217232 +0800

Modify: 2019-03-07 14:32:42.604862498 +0800

Change: 2019-03-07 14:32:42.605945804 +0800

Birth: -

　　由此可见，黑客是可以通过修改时间，再植入木马，防止被find找到。

4）inode的大小

Inode也会消耗硬盘空间，所以硬盘格式化时，操作系统自动将文件分成两个区域。一个是数据区，用于存放文件数据；另一个是inode区，用于存放inode所包含的信息。

每个inode节点的大小一般是128字节或256字节。Inode节点的总数在格式化时就给定，一般是1KB或2KB或4KB就设置一个inode。如果一块1GB的硬盘，每个inode节点的大小为128字节，每1KB就设置一个inode，那么inode区的大小就会达到128MB，占整个硬盘的12.8%。（所以block可以设置的大一点）

5）inode号

每个inode都有一个号码，操作系统用inode号来识别不同的文件。

Unix/Linux系统内部不是用文件名，而使用inode号来识别文件。对于系统来说，文件名只是iode号便于识别的别名。表面上用户是通过文件名打开文件，实际上系统内部分成三个步骤：首先，系统找到这个文件名对应的inode号；其次通过inode号获取inode信息；最后根据inode信息找到文件数据所在的block，读出数据。

可以使用’ls -i [filename]’快速查看文件的inode号：

1 2	`[root@xuexi ~]# ls -i a.txt` `34729170 a.txt`

　　在Unix/Liunx系统中，目录也是一种文件。目录文件的结构非常简单，即使一系列目录项的列表。每个目录项由所包含文件的文件名以及该文件名对应的inode号组成。

　　可以使用’ls -id [directory]’快速查看目录的inode号：

1 2	`[root@xuexi ~]# ls -id /etc` `16777281 /etc`

　　另外可以使用’df -i’查看每个磁盘分区的inode总数和已经使用的数量

[root@xuexi ~]# df -i

文件系统 Inode 已用(I) 可用(I) 已用(I)% 挂载点

/dev/sda3 8912384 193509 8718875 3% /

devtmpfs 249583 408 249175 1% /dev

tmpfs 253514 1 253513 1% /dev/shm

tmpfs 253514 966 252548 1% /run

tmpfs 253514 16 253498 1% /sys/fs/cgroup

/dev/sda1 524288 359 523929 1% /boot

/dev/sr0 0 0 0 - /mnt

tmpfs 253514 6 253508 1% /run/user/42

tmpfs 253514 17 253497 1% /run/user/1000

tmpfs 253514 1 253513 1% /run/user/0

　　注意：由于每个文件都必须有一个inode号，因此有可能发生inode已用光，但硬盘未存满的情况。这时就无法在硬盘上创建新的文件。

6）inode的特殊作用

　　有时文件名有特殊字符或乱码，无法正常修改或删除，可以通过inode号来进行操作。实例：

[xf@xuexi ~]$ mkdir Dir

[xf@xuexi ~]$ cd Dir/

[xf@xuexi Dir]$ touch 学习　　\\创建一个中文的文件名

[xf@xuexi Dir]$ ls

学习

[xf@xuexi Dir]$ LANG="en_US.gbk"　　\\临时调整一下编码，使得文件名变为乱码

[xf@xuexi Dir]$ ls

??????

[xf@xuexi Dir]$ ls -i　　\\看一下该文件的inode号

407062 ??????<br>\\删除还可以使用"find . -inum 407062 -delete"（没有提示）以及"find . -inum 407062 | xargs -i rm {}"<br>\\修改类似

[xf@xuexi Dir]$ find . -inum 407062 -exec rm -i {} \;

rm: remove regular empty file './\345\255\246\344\271\240'? y

[xf@xuexi Dir]$ ls

　　移动或重命名文件，只改变文件名，inode没影响。

　　使用vim修改文件内容后，inode会发生改变。实例：

[xf@xuexi ~]$ touch File

[xf@xuexi ~]$ ls -i File

52016344 File

[xf@xuexi ~]$ vim File<br>//增加一行aaaaa

[xf@xuexi ~]$ ls -i File　　//inode号改变了

52016202 File

[xf@xuexi ~]$ echo bbbbb>>File　　//追加一行bbbbb

[xf@xuexi ~]$ ls -i File　　//inode号没变

52016202 File

[xf@xuexi ~]$ cat File

aaaaa

bbbbb

[xf@xuexi ~]$ ls -i File

52016202 File

[xf@xuexi ~]$ cat > File <<EOF　　//重写File

> ccccc

> ddddd

> EOF

[xf@xuexi ~]$ ls -i File　　//inode号还是没变

52016202 File

　　我一开始还怀疑会不会是我字节没有写满一个block，但我用cat写了20416个字节，结果inode号还是没变。我估计echo追加和cat重写都不改变inode号。

(2).block的内容

block是真正存储数据的地方。block是文件系统中的最小存储单位，扇区是磁盘中的最小存储单位。

注意：Linux下叫block，Windows下叫簇。

1） Windows如何修改簇的大小

　　可以右键一个分区，点击格式化会出现如下窗口：

这里的分配单元大小就是设置簇的大小。

2） Block或簇的大小对系统的影响

　　簇或block调大时，节约了寻址时间，速度变快，但浪费空间；簇和block调小时，节约空间，但寻址时间变长，速度变慢。

　　说明：为什么簇或block调大会浪费空间？这是因为一个文件会占用多个簇或block来存放。当前一个簇或block放不下时，就会占用下一个簇或block，到最后如果产生不足以占用一个完整的簇或block时，仍然会占用一个完整的簇或block，就会浪费这个簇或block剩下的空间。

如果有一个2T的硬盘，可以前1.5T使用4K的簇或block，后0.5G使用64K的簇或block，这样可以改善机械硬盘越到最后速度越慢的问题。

3） Linux下查看block的大小以及修改方式

　　查看block的大小

[root@xuexi ~]# file -s /dev/sdb1 //把block或设备当做普通文件看待

/dev/sdb1: SGI XFS filesystem data (blksz 4096, inosz 512, v2 dirs)

[root@xuexi ~]# xfs_info /dev/sdb1

xfs_info: /dev/sdb1 is not a mounted XFS filesystem //居然需要先挂载

[root@xuexi ~]# ls /

bin dev etc lib media opt root sbin srv tmp var

boot dump home lib64 mnt proc run sdb1 sys usr

[root@xuexi ~]# mkdir /sdb1

mkdir: 无法创建目录"/sdb1": 文件已存在

[root@xuexi ~]# mount /sdb1 /dev/sdb1

mount: /sdb1 不是一个块设备

[root@xuexi ~]# mount /dev/sdb1 /sdb1/

[root@xuexi ~]# xfs_info /dev/sdb1

meta-data=/dev/sdb1 isize=512 agcount=4, agsize=65536 blks

= sectsz=512 attr=2, projid32bit=1

= crc=1 finobt=0 spinodes=0

data = bsize=4096 blocks=262144, imaxpct=25

= sunit=0 swidth=0 blks

naming =version 2 bsize=4096 ascii-ci=0 ftype=1

log =internal bsize=4096 blocks=2560, version=2

= sectsz=512 sunit=0 blks, lazy-count=1

realtime =none extsz=4096 blocks=0, rtextents=0

　　注意：xfs_info只能用于xfs的文件系统，如果是ext4或ext3请使用tune2fs

　　修改block的大小，就需要用到mkfs.xfs格式化命令，需要格式化分区

[root@xuexi ~]# umount /sdb1

[root@xuexi ~]# mkfs -t xfs -b size=2048 /dev/sdb1

mkfs.xfs: /dev/sdb1 appears to contain an existing filesystem (xfs).

mkfs.xfs: Use the -f option to force overwrite.

[root@xuexi ~]# mkfs -t xfs -b size=2048 -f /dev/sdb1

meta-data=/dev/sdb1 isize=512 agcount=4, agsize=131072 blks

= sectsz=512 attr=2, projid32bit=1

= crc=1 finobt=0, sparse=0

data = bsize=2048 blocks=524288, imaxpct=25

= sunit=0 swidth=0 blks

naming =version 2 bsize=4096 ascii-ci=0 ftype=1

log =internal log bsize=2048 blocks=5120, version=2

= sectsz=512 sunit=0 blks, lazy-count=1

realtime =none extsz=4096 blocks=0, rtextents=0

　　注意：mkfs.xfs就是mkfs –t xfs的简写。

Linux服务器出现：No space left on device的解决方法 及 linux inode, block区域讲解

Linux服务器出现：No space left on device的解决方法

简单了解Linux的inode与block

(1).inode的内容

1）inode包含文件的元信息，具体来说有以下内容：

文件的字节数

文件拥有者的User ID

文件的Group ID

文件的读、写、执行权限

(2).block的内容

block是真正存储数据的地方。block是文件系统中的最小存储单位，扇区是磁盘中的最小存储单位。

注意：Linux下叫block，Windows下叫簇。

Linux服务器出现：No space left on device的解决方法及 linux inode, block区域讲解