kube-proxy 1.9.3 启动报错 Failed to execute iptables-restore: exit status 1

本文描述了在Kubernetes集群中,kube-proxy组件与特定版本iptables之间的兼容性问题,导致pod无法解析service和外网地址,以及NodePort端口创建失败。通过将iptables版本回退至较低版本,成功解决了此问题,并详细记录了解决步骤和验证方法。

问题描述

1 pod无法解析service地址和外网地址

2 kube-proxy的NodePort端口无法创建

报错

kube-proxy: E0410 10:13:35.198005    9004 proxier.go:1667] Failed to execute iptables-restore: exit status 1 (iptables-restore: invalid option -- '5'
kube-proxy: Try `iptables-restore -h' for more information.
kube-proxy: )
kube-proxy: I0410 10:13:35.198045    9004 proxier.go:1669] Closing local ports after iptables-restore failure
kube-proxy: I0410 10:13:35.198061    9004 port.go:63] Closing local port "nodePort for kube-system/monitoring-grafana:" (:31085/tcp)

系统信息

k8s版本:1.9.3

iptables版本:iptables-1.4.21-28.el7.x86_64

系统:CentOS Linux release 7.6.1810 (Core)

内核版本号:3.10.0-957.1.3.el7.x86_64

原因

kube-proxy组件没成功调iptables添加相关规则原因

操作

更换iptables的版本号降低到iptables-1.4.21-24.1.el7_5.x86

注意:两个iptables包的小版本不一致

查看

 重启kube-proxy组件查看iptables规则有kube-proxy添加进来的规则了

查看命令: iptables -t nat -nL

参考:https://bbs.huaweicloud.com/blogs/b7c80720222d11e9bd5a7ca23e93a891

<think>好的,我现在需要解决用户提出的kube-proxy启动时由于conntrack配置问题导致启动缓慢或报错的情况。首先,我需要回顾用户提供的引用内容,找出可能的原因和解决方案。用户引用了四个不同的来源,其中引用[1]提到kube-proxy启动时修改了nf_conntrack_max的值到131072,而系统默认可能更高,导致问题。引用[2]指出缺少conntrack工具,安装后解决了问题。引用[3]讨论了conntrack在清理过期连接时的使用,引用[4]提到内核版本问题需要升级到CentOS8.2。用户的问题具体是conntrack启动缓慢导致kube-proxy报错。我需要综合这些信息,思考可能的解决方案。首先,检查是否安装了conntrack工具,如果没有,安装它。其次,查看nf_conntrack_max的设置,可能kube-proxy设置的过低,需要调整。另外,内核参数如nf_conntrack_tcp_timeout_established可能影响连接跟踪表的大小和性能。系统负载高时,conntrack表满会导致丢包,进而影响kube-proxy。还可能存在内核版本问题,需要升级系统或内核。 接下来,我需要将这些思路整理成步骤,确保每个步骤都有对应的解决方法和命令。例如,检查conntrack安装,调整nf_conntrack_max,优化超时参数,检查系统负载,升级内核或系统版本,检查kube-proxy模式是否正确,以及重启kube-proxy。同时,需要验证这些步骤是否合理,比如调整内核参数的方法是否正确,升级系统是否适用用户的环境。还要考虑用户可能的环境差异,比如CentOS7和8的不同处理方式。此外,引用[4]提到CentOS7可能需要升级到8来解决内核问题,这也是一个可能的解决方案。 最后,生成相关问题,帮助用户进一步排查其他可能的问题,比如性能调优、替代方案、监控方法等。</think>### kube-proxy conntrack 启动缓慢问题解决方案 #### 1. 检查conntrack工具是否安装 - **现象**:日志报错`conntrack: executable file not found in $PATH`[^2] - **解决方案**: ```bash yum install -y conntrack-tools # CentOS/RHEL apt-get install conntrack # Ubuntu/Debian ``` 安装后重启kube-proxy Pod[^2] #### 2. 调整nf_conntrack参数 - **问题根源**:kube-proxy默认设置`nf_conntrack_max=131072`可能过小[^1] - **优化步骤**: ```bash # 永久修改配置 echo "net.netfilter.nf_conntrack_max=262144" >> /etc/sysctl.conf echo "net.netfilter.nf_conntrack_tcp_timeout_established=600" >> /etc/sysctl.conf sysctl -p # 检查当前值 sysctl net.nf_conntrack_max ``` 建议值计算公式:`nf_conntrack_max = 内存大小(MB) * 1024 * 1024 / 16384`[^3] #### 3. 检查系统连接跟踪表状态 ```bash # 查看当前连接数 cat /proc/sys/net/netfilter/nf_conntrack_count # 查看表最大容量 cat /proc/sys/net/netfilter/nf_conntrack_max # 监控丢包情况 grep nf_conntrack /proc/net/stat/nf_conntrack ``` #### 4. 优化内核参数(关键参数) ```bash # 缩短TIME_WAIT超时 echo 30 > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_time_wait # 加快无效连接清理 echo 60 > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_close_wait echo 10 > /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_fin_wait ``` #### 5. 检查系统负载 - 高并发场景需特别注意: ```bash # 查看连接跟踪表使用率 awk &#39;{printf "%.2f%", $1/$2*100}&#39; /proc/sys/net/netfilter/nf_conntrack_{count,max} ``` 若超过80%需立即扩容 #### 6. 升级内核版本(针对CentOS7) - **特殊场景**:当出现`parseIP Error`等新版本兼容性问题时[^4] - **解决方案**: ```bash # 升级到CentOS8 # 或手动升级内核 yum install -y kernel-4.18.0-348.el8 reboot ``` #### 7. 检查kube-proxy工作模式 ```bash kubectl logs <kube-proxy-pod> -n kube-system | grep "Using iptables Proxier" ``` 若为iptables模式,建议切换ipvs模式(需提前加载ipvs模块)[^4] #### 8. 重启kube-proxy 完成上述调整后: ```bash kubectl rollout restart daemonset/kube-proxy -n kube-system ```
评论 19
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值