prometheus进入容器报错::rpc error: code = 2 desc = containerd: container not found

本文介绍了一个Prometheus实例因系统内存不足导致的故障排查过程。主要表现为数据采集失败及前端页面502错误。通过日志分析发现进程被系统内存管理器杀死,并详细记录了解决步骤。
  1. prometheus采集数据以及相关proemtheus的前端页面无法访问,报错502
  2. 由于是使用容器启动的,执行docker exec命令进入容器时报错,报错信息为:
    rpc error: code = 2 desc = containerd: container not found
  3. 以上错误是因为系统内存不足,导致OOM Killer杀掉prometheus进程,该进程就是上一步中docker exec命令想作用到的容器;
  4. 日志中查找进程被kill情况,确认我们的猜测
    grep "killed process" -ri /var/log
    Killed process 2394 (prometheus) total-vm:136802772kB, anon-rss:12521944kB, file-rss:0kB, shmem-rss:0kB
    dmesg|grep memory 查看内存日志信息
    Out of memory: Kill process 2394 (prometheus) score 393 or sacrifice child
  5. docker ps 查看容器显示是正常的,容器并没有stop掉
  6. docker logs prometheus 显示已经很久没有输出日志
  7. docker exec -it prometheus /bin/bash
    报错: rpc error: code = 2 desc = containerd: container not found
  8. 这里给我们显示prometheus还在运行的假象是因为内存系统内存不足,导致OOM Killer将prometheus进程杀掉,但是docker服务没有同步到这个信息,因此尽管进程不在了,但是docker ps可以看到,不过docker exec不会起作用,因为进程已经没了;
  9. 这时候docker stop 或者 docker kill 都已经不行了,只能重启docker
    service docker restart
<think>首先,用户的问题是:"Kubernetes Failed to create pod sandbox error solution",意思是Kubernetes创建Pod沙箱失败的错误解决方案。用户提到错误信息是启动sandbox容器超时。 根据系统级指令: - 所有行内数学表达式必须使用$...$格式。 - 独立公式必须使用$$...$$格式并单独成段。 - LaTeX语法正确。 - 使用中文回答。 - 生成相关问题。 - 回答中引用的段落末尾自然地添加引用标识。 - 回答结构清晰,帮助用户逐步解决问题,尽量保证回答真实可靠。 参考站内引用: - [^1]: 关于Kubernetes pod创建错误,提到没有为服务帐户找到API令牌。 - [^2]: 显示kubectl get pods的输出,显示pod运行正常。 - [^3]: 在部署错误时,使用oc get pod --all-namespaces来查找有问题的pod。 - [^4]: 涉及RPC失败和HTTP错误,以及CocoaPods安装问题,但这不是直接相关的。 这些引用中,[^1]和[^3]与Kubernetes问题相关,但[^4]是关于CocoaPods的,不直接相关。用户的问题是关于Kubernetes的pod沙箱创建失败。 关键错误:启动sandbox容器超时。这通常与容器运行时(如containerddockerd)相关。 步骤解决: 1. **检查容器运行时状态**:确保容器运行时服务正在运行。 2. **查看日志**:使用kubectl或journalctl查看相关日志。 3. **检查网络**:Kubernetes网络插件(如Calico或Flannel)可能有问题。 4. **资源问题**:节点资源不足。 5. **其他配置**:如CNI配置、内核参数等。 结构化回答: - 介绍问题。 - 逐步提供解决方案。 - 使用中文。 - 在末尾生成相关问题。 - 引用时添加引用标识。 生成相关问题: - 例如:如何诊断Kubernetes网络问题?如何优化容器启动时间?等。 确保回答真实可靠:基于Kubernetes常见故障排除。 最终回答结构: 1. 问题描述。 2. 常见原因。 3. 解决方案步骤。 4. 预防措施。 5. 相关问题。</think>### Kubernetes Failed to create pod sandbox 错误解决方案 在 Kubernetes 中,创建 Pod 沙箱失败的错误(通常伴随类似 `failed to create pod sandbox: rpc error: code = DeadlineExceeded desc = context deadline exceeded` 的信息)表明容器运行时(如 containerddockerd)在启动沙箱容器时超时。这通常由网络问题、资源不足或运行时配置错误引起。以下我将逐步指导您解决此问题,确保回答基于 Kubernetes 官方文档和常见实践。解决过程包括诊断、修复和预防,帮助您快速恢复集群功能。 #### 1. **诊断错误原因** 首先,确认错误详情并收集日志,以定位根本原因: - **查看 Pod 事件**:使用 `kubectl describe pod <pod-name> -n <namespace>` 检查事件部分,常显示 `Failed to create pod sandbox` 和相关超时信息[^3]。 - **检查容器运行时日志**: - 如果使用 containerd:运行 `journalctl -u containerd` 查看日志。 - 如果使用 Docker:运行 `journalctl -u docker`。 日志中可能显示网络连接失败或资源争用,例如 `context deadline exceeded`。 - **检查节点资源**:使用 `kubectl top nodes` 确保节点有足够 CPU 和内存。资源不足会延迟沙箱启动。 - **验证网络插件状态**:Kubernetes 网络插件(如 Calico 或 Flannel)故障常见。运行 `kubectl get pods -n kube-system` 检查网络插件 Pod 是否正常(如 `calico-node-xxxx` 状态应为 `Running`)[^2]。 #### 2. **常见解决方案步骤** 根据诊断结果,逐步执行修复操作。以下是已验证的解决方案(按优先级排序): **步骤 1: 重启容器运行时服务** 如果日志显示运行时服务卡顿,重启可能解决临时故障: - 对于 containerd: ```bash sudo systemctl restart containerd ``` - 对于 Docker: ```bash sudo systemctl restart docker ``` 重启后,等待 1-2 分钟,重新部署 Pod(`kubectl delete pod <pod-name> && kubectl apply -f <deployment-file>`)。 **步骤 2: 检查并修复网络问题** 网络配置错误是常见原因: - **验证 CNI 插件**:确保 CNI 配置文件存在(如 `/etc/cni/net.d/10-calico.conflist`)。如果缺失,重新安装网络插件: ```bash # 以 Calico 为例 kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml ``` - **检查节点网络连接**:在节点上运行 `ping <api-server-ip>` 测试到 Kubernetes API 服务器的连通性。失败可能需检查防火墙或路由表。 - **重置网络命名空间**:有时 IP 分配冲突导致超时: ```bash sudo systemctl restart kubelet # 重启 kubelet 服务 sudo ip link delete cni0 # 删除 CNI 接口(谨慎操作) sudo systemctl restart containerd # 重启容器运行时 ``` 注意:此操作可能短暂影响集群,建议在维护窗口进行。 **步骤 3: 解决资源不足问题** - **增加节点资源**:如果 `kubectl top nodes` 显示资源使用率高,扩展节点或优化 Pod 资源请求(在 Deployment 中设置 `resources.requests`)。 - **清理无用资源**:删除未使用的 Pod 和镜像: ```bash kubectl delete pods --field-selector=status.phase==Failed -A # 删除失败 Pod sudo crictl rmi --prune # 清理容器运行时缓存 ``` **步骤 4: 更新或修复运行时配置** - **检查运行时版本兼容性**:确保容器运行时(如 containerd)与 Kubernetes 版本兼容。参考 [Kubernetes 官方文档](https://kubernetes.io/docs/setup/production-environment/container-runtimes/)。 - **调整超时参数**:在 containerd 配置文件(`/etc/containerd/config.toml`)中添加: ```toml [plugins."io.containerd.grpc.v1.cri"] sandbox_image = "registry.k8s.io/pause:3.6" # 确保使用正确 pause 镜像 [plugins."io.containerd.grpc.v1.cri".containerd] default_runtime_name = "runc" [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc] runtime_type = "io.containerd.runc.v2" [plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options] SystemdCgroup = true # 如果使用 systemd 作为 cgroup 驱动 ``` 保存后重启 containerd:`sudo systemctl restart containerd`。 **步骤 5: 检查内核和系统配置** - **验证内核参数**:运行 `sysctl -a | grep net.ipv4.ip_forward`,确保 `net.ipv4.ip_forward=1`。如果不是,添加到 `/etc/sysctl.conf`: ```bash echo "net.ipv4.ip_forward=1" | sudo tee -a /etc/sysctl.conf sudo sysctl -p ``` - **确保正确服务账户**:参考引用[^1],如果错误涉及 API 令牌,运行 `kubectl create serviceaccount <name> -n <namespace>` 并绑定角色。 如果以上步骤无效,提供更多日志(如 `kubectl logs <pod-name> -c <container-name>`)以进一步分析。 #### 3. **预防措施** 为避免未来出现类似错误: - **定期维护**:每月清理未使用镜像(`sudo crictl rmi --prune`)和监控资源使用(如使用 Prometheus)。 - **升级集群**:保持 Kubernetes 和容器运行时在最新稳定版。 - **测试网络**:在部署前,使用 `kubectl run test-pod --image=busybox --restart=Never --rm -it -- ping <target>` 验证网络连通性。 - **备份配置**:定期备份 CNI 和 containerd 配置文件。 ####
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱学习的狮王

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值