Kubernetes 项目：深入调试 Service 服务问题

Kubernetes 项目：深入调试 Service 服务问题

website Kubernetes website and documentation repo: 项目地址: https://gitcode.com/gh_mirrors/webs/website

前言

在 Kubernetes 集群中，Service 是连接应用组件的重要抽象层。然而在实际使用中，Service 无法正常工作的情况时有发生。本文将从技术专家的角度，系统地介绍如何诊断和解决 Service 相关的常见问题。

准备工作

在开始调试前，我们需要准备一个测试环境：

1. 创建一个 Deployment 并扩展至 3 个副本：

kubectl create deployment hostnames --image=registry.k8s.io/serve_hostname
kubectl scale deployment hostnames --replicas=3

2. 验证 Pod 运行状态：

kubectl get pods -l app=hostnames

3. 直接测试 Pod 是否正常工作：

kubectl get pods -l app=hostnames -o go-template='{{range .items}}{{.status.podIP}}{{"\n"}}{{end}}' | xargs -I {} sh -c 'echo {}:9376; curl -s {}:9376'

基础排查步骤

1. 确认 Service 是否存在

首先检查最基本的环节 - Service 是否已创建：

kubectl get svc hostnames

如果不存在，需要创建 Service：

kubectl expose deployment hostnames --port=80 --target-port=9376

2. DNS 解析检查

Service 通常通过 DNS 名称访问，测试 DNS 解析是否正常：

# 在 Pod 内执行
nslookup hostnames
nslookup hostnames.default
nslookup hostnames.default.svc.cluster.local

如果解析失败，检查：

• Pod 的 /etc/resolv.conf 配置
• 集群 DNS 服务是否正常运行

3. 直接通过 IP 访问

绕过 DNS，直接使用 Service IP 测试：

SVC_IP=$(kubectl get svc hostnames -o jsonpath='{.spec.clusterIP}')
for i in $(seq 1 3); do curl -s $SVC_IP:80; done

深入问题诊断

1. 检查 Service 定义

验证 Service 配置是否正确：

kubectl get svc hostnames -o yaml

重点关注：

• spec.ports 配置是否正确
• targetPort 是否匹配 Pod 实际端口
• selector 是否匹配 Pod 标签

2. 检查 EndpointSlices

确认 Service 是否关联了正确的 Pod：

kubectl get endpointslices -l k8s.io/service-name=hostnames

如果 ENDPOINTS 为空，检查：

• Service 的 selector 是否匹配 Pod 标签
• Pod 是否处于 Running 状态

3. 网络策略检查

检查是否存在 NetworkPolicy 限制了访问：

kubectl get networkpolicy -A

高级调试技巧

1. 使用临时调试容器

创建一个临时容器进行网络测试：

kubectl run -it --rm --restart=Never debug-tool --image=nicolaka/netshoot -- bash

在容器内可以执行：

• dig/nslookup 测试 DNS
• curl/telnet 测试连接
• tcpdump 抓包分析

2. 检查 kube-proxy

验证 kube-proxy 是否正常运行：

kubectl -n kube-system get pods -l k8s-app=kube-proxy
kubectl -n kube-system logs <kube-proxy-pod>

3. 检查 iptables/nftables

在节点上检查 Service 的 iptables 规则：

iptables-save | grep hostnames

常见问题解决方案

1. DNS 解析失败

   • 检查 CoreDNS 是否运行正常
   • 验证 Pod 的 /etc/resolv.conf 配置

2. Endpoint 为空

   • 确认 Service selector 与 Pod labels 匹配
   • 检查 Pod 是否处于 Running 状态

3. 连接被拒绝

   • 验证 targetPort 是否正确
   • 检查 Pod 是否监听指定端口
   • 检查 NetworkPolicy 是否限制访问

4. 间歇性连接问题

   • 检查 Pod 重启次数
   • 查看 kube-proxy 日志
   • 检查节点网络状况

总结

调试 Kubernetes Service 需要系统性地检查各个组件：

1. 确认 Service 和 Pod 的基本配置
2. 测试 DNS 解析和直接 IP 访问
3. 检查 EndpointSlices 和网络策略
4. 必要时深入网络层排查

通过本文介绍的方法，你应该能够诊断和解决大多数 Service 相关的问题。记住，调试过程要遵循从简单到复杂的顺序，逐步缩小问题范围。

website Kubernetes website and documentation repo: 项目地址: https://gitcode.com/gh_mirrors/webs/website