k8s failed to watch file “/var/log/pods/xxx.log“: no space

原创 已于 2022-08-25 08:57:21 修改 · 2.8k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kubernetes #inotify  #no space  #failed to watch  #k8s

于 2020-01-09 13:44:26 首次发布
本文介绍了解决Kubernetes集群中因inotify watches限制导致的日志监控问题。通过调整节点上的fs.inotify.max_user_watches参数，可以有效避免日志查看时出现的错误，确保日志系统的正常运行。

kubernetes 集群在查看日志

kubectl logs -f <pod>

报错

failed to watch file "/var/log/pods/xxxx/xxxxxx.log": no space left on deviceroot

可能是节点 out of inotify watches  **节点指的是node，不是master，是pod运行的物理节点**

可以使用命令查看情况

sysctl fs.inotify.max_user_watches

默认是

fs.inotify.max_user_watches = 8192

可以尝试将数值改大

vi /etc/sysctl.conf

在文件中添加或者修改成自己想要的值，一般直接翻倍，一直到没有问题不报错了

fs.inotify.max_user_watches = 2097152

修改完后执行命令，读取修改后的值

/sbin/sysctl -p

再次查看就没有错了

kubectl logs -f <pod>

浅谈云原生系统日志收集在数栈的实践
欢迎来到我的博客，希望对您有所帮助
08-18 678
浅谈云原生系统日志收集在数栈的实践
k8s kube-proxy pod 启动失败 failed to try resolving symlinks in path ... no such file or directory
weixin_40548182的博客
07-19 1443
exec format error 这是镜像跟 cpu 架构不匹配导致的。由于问题容器太多，先删除一下，它会自动再启动。删除 kube-proxy pod。上问题 pod 的宿主机上执行。过滤下 proxy 相关容器。由于删除了一次，只剩两个容器。
【k8s】Failed to watch directory...no space left on device
weixin_45066823的博客
09-23 580
在k8s驱逐某个node上的pod时，发现永远是驱逐中，pod一直处于Terminating中，并且在该节点的kubelet日志中看到Failed to watch directory…no space left on device内容。查看kubelet日志。
解决k8s node节点报错： Failed to watch *v1.Secret: unknown
jiaohuizhuang6019的博客
11-18 2449
解决k8s node节点报错： Failed to watch *v1.Secret: unknown
k8sQ&A：no space left on device
xiaofang2015的博客
06-11 6094
问题一： kube-node节点的状态是notready，原因是kubelet启动时报错“nospaceleftondevice:”： 218的kube-node节点的状态是notready，分配和申请资源OK，但是服务启动有问题：启动失败 分析：218上kubelt节点启动7s后失败，原因是：nospaceleftondevice:journalctl-ukube...
K8S 指定 emptydir 的时候出现no space left on device
Joker
05-12 757
检查发现是POD所在服务器的kubectl的硬盘空间不足 解决方案: 1 清理kubectl所在磁盘 2 转移kubectl的工作目录磁盘 2的解决方案: 修改kubelet工作目录 1 修改配置文件/etc/default/kubelet (默认不存在该文件，需要新增创建） KUBELET_EXTRA_ARGS=--root-dir=/mnt/data/kubelet...
k8s安装遇到错误： failed to load Kubelet config file /var/lib/kubelet/config.yaml, error failed to read kub
热门推荐
yuxuan89814的专栏
06-25 5万+
安装完kube后启动一直启动失败 安装： yum install docker-ce kubelet-1.11.1 kubeadm-1.11.1 kubectl-1.11.1 kubernetes-cni 启动kubelet失败 sysemctl status kubelet.service bash: sysemctl: command not found... [root@localhost rpm]# systemctl status kubelet.service ● kubelet.
224. 解决reflector.go:125] k8s.io/kubernetes/pkg/kubelet/kubelet.go:453: Failed to list *v1.Node
Kason_iWiki
07-22 1万+
问题描述：k8s Node节点获取失败 日志信息： I0718 12:35:54.113048 30951 trace.go:81] Trace[628269585]: "Reflector k8s.io/kubernetes/pkg/kubelet/kubelet.go:453 ListAndWatch" (started: 2020-07-18 12:35:24.11267359 +0800 CST m=+31.100277769) (total time: 30.000349571s): Tra
k8s集群coredns始终处于ContainerCreating状态解决思路【network: stat /var/lib/calico/nodename: no such file or dir】
阿文的博客
07-14 2万+
情况说明 原始集群中使用flannel作为网络插件，后来想在集群中使用calico网络插件建立网络规则，但在安装的过程中因为一些失误操作（没有读懂官方的安装说明），导致集群宕机，coredns始终处于ContainerCreating状态。 报错信息： 首先需要说明一下，coredns的状态和flannel有着必然的联系，所以首先使用describe查看pods的错误信息。 [root@master ~]# kubectl get pods -n kube-system NAME
k8s集成prometheus报错：err=“log series: open /prometheus/wal: no such file or directory“
lcm_linux的博客
08-16 1701
问题排查： 分别查看pod日志：prometheus-k8s-0以及prometheus-operator-78bd98fc99-bmkbq 经查：prometheus-k8s-0日志显示 err=“log series: open /prometheus/wal: no such file or directory” k logs prometheus-k8s-0 -n monitoring -c prometheus -f 查看 journalctl -f -u kubelet 日志报错：remov
出现no space left on device（磁盘空间不足）该如何解决？
ZF_1326的博客
03-14 8263
indoes存储区：它是由许多indoe组成的列表，每个indoe中存储的时文件的元信息，包括：文件大小，文件类型（常规文件、目录、软连接等），权限（读写执行权限），属组（所属用户组），属主（所属用户），连接数（有多少个文件名指向这个indoe），文件创建时间，文件最近访问时间，文件最近修改时间，文件内容所在的block位置。（3）通过rm -rf + 文件名|目录 来删除该文件或者目录，也可以使用ls | xargs rm -rf + 目录来删除目录下的全部文件。使用以下命令来进行查看。
k8s集群节点无法创建pod解决：错误提示（Docker error : “/sys/fs/cgroup/memory/xxxx“ “no space left on device“）
奈斯菟咪踢呦
08-12 2566
前言 最近部门的k8s 集群为了扩展，增加了两个节点，结果用了一段时间后莫名出现了以下问题，新增的这两个节点上无法创建pod 从rancher发现事件报错信息如下： 问题排查步骤 第一步： 报错信息说无法创建，于是进入到/sys/fs/cgroup/memory/docker目录下用touch 创建一个文件： 结果报错：no space left on device 第二步： 从提示本人以为是磁盘满了，于是上到具体的k8s节点看了下磁盘，用命令 df -h ，结果磁盘是充足的。 第三步： docke
inotify报错Failed to watch /opt; /proc/sys/fs/inotify/max_user_watches，K哥
weixin_34392906的博客
11-08 2318
2016.11.8K哥有2台服务器使用了unison+inotify达到网站文件夹时时同步的效果今天突然发现inotify占用很大CPU，可以用top命令查看打开inotify日志查看原因发现这一报错Failed to watch /opt; upper limit on inotify watches reached!Please increase the amount o...
31、spark-on-kubernetes中任务报错No space left on device
最新发布
weixin_42960808的博客
02-10 465
最终的解决办法，在spark.local.dir参数里配置多个目录，eg：spark.local.dir: ‘/data1,/data2,/data3’。这个场景下，spark.local.dir的默认目录（/var/data/spark-{UUID}）是以emptydir挂载卷的方式挂载的，大小默认40g。对应一些作业来说，这个大小不够，任务就会抛出磁盘容器不足异常。前提：我的spark版本为2.4.5, spark-operator版本为：v1beta2-1.0.0-2.4.5。
redis报错：MISCONF Errors writing to the AOF file: No space left on device
慌途L
10-13 1万+
redis报错：MISCONF Errors writing to the AOF file: No space left on device。 原因和解决方案
“no space left on device”（磁盘空间不足）问题
qq_43117856的博客
08-23 2万+
关于“no space left on device”（磁盘空间不足）问题 因为遇到了相关报错，在网上搜索一番，发现算是一个常见错误。 以下把几个值得参考的博文简单汇总一下，做个记录，以后好翻出来查看。 转载1：https://blog.csdn.net/youmatterhsp/article/details/80382552 转载2：https://blog.csdn.net/qq_23116...
k8s常见报错以及解决方法(一)
u011279956的博客
01-11 5836
k8s常见报错以及解决方法(一) 现阶段我们使用k8s集群越来越多,随之而来的是一系列的问题,接下来我向大家来介绍一下我遇到的一些问题以及解决方法 一.报错cannot allocate memory或者no space left on device,修复K8S内存泄露问题 问题描述 一.当k8s集群运行日久以后，有的node无法再新建pod，并且出现如下错误，当重启服务器之后，才可以恢复正常使用。查看pod状态的时候会出现以下报错 applying cgroup … caused: mkdir …no s
no space left on device 解决磁盘空间
weixin_34033624的博客
06-12 1887
今天在检查gitlab备份情况时,发现scp过程中提示no space left on device,这意味着我安装着gitlab的服务器没有空间了 方法 1. 使用命令 ： du -sh * 它用来查看文件或目录所占用的磁盘空间的大小。 2. 进入占用空间比较大的文件夹,删除 复制代码命令 选项 作用 -h 以K，M，G为单位，提高信息的可读性 -a 显示目录中个别文件的大小 ...
“no space left on device”（磁盘空间不足）问题解决方法
zhoupenghui168的博客
05-04 4967
"no space left on device”（磁盘空间不足）问题解决方法
error while creating mount source path '/var/lib/containerd/log/pods': mkdir /var/lib/containerd: file exists
10-26
这个错误是由于目标路径已经存在而导致的。解决方法是删除已存在的目标路径或者更改挂载路径。可以尝试使用以下命令...如果你不想删除该目录，可以更改挂载路径，例如：-v /new/path:/var/lib/containerd/log/pods。
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值