docker device or resource busy问题排查

最近部署应用时候，在删除原容器会出现问题，信息如下：

Error response from daemon: driver "overlay" failed to remove root filesystem for 4dd0d7932970436cfc4db86169f664394868a001510ea36803f9b8a543f08613: remove /var/lib/docker/overlay/3e73e3a6d237064440036da96e72a38142215a39f43357a4b192680a23954ceb/merged: device or resource busy

根据网上方法是找出mountinfo所在的进程，但是我看了进程号对应的是nginx，按网上说法是kill -9 进程号，这样nginx就会被kill，后来尝试使用sytem restart nginx方式，也能删除dead容器。

至于为什么会和nginx有关，这是因为Mount namespace问题。通过cat /usr/lib/systemd/system/nginx.service查看内容

[service]

PrivateTmp=true

这个表示nginx拥有私有挂载点空间，mount namesapces。docker的容器镜像实例有挂载点泄漏的问题，导致了docker无法删除被nginx mount的文件夹。

解决的办法添加

[service]

MountFlags=slave

重启docker systemctl restart docker

挂载点泄漏是内核3.10的bug，在后续内核版本得到修复，可以通过升级内核。

 如何发现nginx挂载泄漏点通过如下命令

grep devicemapper/mnt /proc/<nginx-master-pid>/mounts

systemctl status nginx |grep PID