【 Kubernetes 集群】集群 Kube-Proxy 异常排障处理

原创 于 2024-12-03 06:30:00 发布 · 3.1k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#服务器

在使用 TKE 集群服务的过程中，某些场景下，可能会出现服务访问不通的问题，如果确认后端 Pod 访问正常，则可能是由于 kube-proxy 组件版本较低，导致节点上的 iptables 或 ipvs 服务转发规则下发失败。本文档整理了低版本 kube-proxy 存在的若干问题，并给出相应的修复指引。

kube-proxy 未能正确适配节点 iptables 后端

错误信息示例
 

Failed to execute iptables-restore: exit status 2 (iptables-restore v1.8.4 (legacy): Couldn't load target 'KUBE-MARK-DROP':No such file or directory
 

问题原因
 

kube-proxy 在执行 iptables-restore 时，所依赖的 KUBE-MARK-DROP Chain 不存在，导致同步规则失败后退出。 KUBE-MARK-DROP Chain 由 kubelet 负责维护。
 

一些高版本的 OS 使用的 iptables 后端为 nft，而低版本 kube-proxy 使用的 iptables 后端为 legacy。当低版本 kube-proxy 运行在高版本 OS 上时，会因为 iptables 后端不匹配而读不到 KUBE-MARK-DROP Chain。高版本 OS 包括：
 

tlinux2.6 (tk4)
 

tlinux3.1
 

tlinux3.2
 

CentOS8
 

Ubuntu20
 

修复指引
 

升级 kube-proxy，需要按如下逻辑处理：
 

 
  
  
 
    
TKE 集群版本
 		 
    
修复策略
 		 
  
 
  
 
    
1.24
 		 
    
升级 kube-proxy 到 v1.24.4-tke.5 及以上
 		 
  
 
  
 
    
1.22
 		 
    
升级 kube-proxy 到 v1.22.5-tke.11 及以上
 		 
  
 
  
 
    
1.20
 		 
    
升级 kube-proxy 到 v1.20.6-tke.31 及以上
 		 
  
 
  
 
    
1.18
 		 
    
升级 kube-proxy 到 v1.18.4-tke.35 及以上
 		 
  
 
  
 
    
1.16
 		 
    
升级 kube-proxy 到 v1.16.3-tke.34 及以上
 		 
  
 
  
 
    
1.14
 		 
    
升级 kube-proxy 到 v1.14.3-tke.28 及以上
 		 
  
 
  
 
    
1.12
 		 
    
升级 kube-proxy 到 v1.12.4-tke.32 及以上
 		 
  
 
  
 
    
1.10
 		 
    
升级 kube-proxy 到 v1.10.5-tke.20 及以上
 		 
  
 
  

 


                

        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    

      

        

            

              
                
                  soso160
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
Fatal: can‘t open lock file /run/xtables.lock: Permission denied

				
			

			

				

					trouble is  a friend
				

				

					04-15
					
					4422
					
				

			

		

		

			
				
解决：使用以下命令安装istio


istioctl install --set values.global.proxy.privileged=true --set values.global.proxy.enableCoreDump=true --set profile=demo 



使用此命令安装istio，就可以在 istio-proxy 容器中使用:iptables -L 命令，否则将会无权限




...

			
		

	



                

            
              



	

		

			

				
					
k8s kube-proxy pod 启动失败 failed to try resolving symlinks in path ... no such file or directory

				
			

			

				

					weixin_40548182的博客
				

				

					07-19
					
					1478
					
				

			

		

		

			
				
exec format error 这是镜像跟 cpu 架构不匹配导致的。由于问题容器太多，先删除一下，它会自动再启动。删除 kube-proxy pod。上问题 pod 的宿主机上执行。过滤下 proxy 相关容器。由于删除了一次，只剩两个容器。

			
		

	



              


  
              

                


	

		

			

				
					
linux----------Another app is currently holding the xtables lock. Perhaps you want to use the -w opt...

				
			

			

				

					weixin_33924220的博客
				

				

					07-21
					
					6520
					
				

			

		

		

			
				
1、今天突然遇到这个么一个奇葩的问题，直接说问题的原因：原因是我们创建了一个计划任务，这个计划任务是一分钟执行一次，是iptables封ip的一个sh脚本。
　　由于攻击我们的ip太多，已经达到了几千个，这个脚本执行完一次需要的时间超过了一分钟，也就是这次还没执行完，下次又开始执行了 ，所以导致了标题显示的英文错误，提示这个xtable被占用，其实就是被他自己占用了。
2、解决方案肯定就只能是...

			
		

	





	

		

			

				
					
iptables实现IP黑白名单功能

				
			

			

				

					Dancer__Sky的博客
				

				

					04-26
					
					7604
					
				

			

		

		

			
				
概述：

   在我们嵌入式设备，可能有时候为了安全会有黑白名单功能，黑名单模式：在黑名单的IP就不能访问我们的设备，白名单模式：

只有白名单的IP可以访问我们的设备，其他IP均不能访问我们设备。这里我们就是用iptables完成想要的功能。



一，了解iptables基本操作

   已经有很多博客解释了这个iptables怎么使用了，我就不多写了，附上参考链接：

 ...

			
		

	



		

			
		



	

		

			

				
					
重启某个节点、重启电脑服务器后，kubernetes无法运行，k8s无法运行

				
			

			

				

					点赞的都能无bug通过！
				

				

					11-06
					
					920
					
				

			

		

		

			
				
环境：ubuntu18.04 LTS现象：按步骤安装kubernetes后，正常启动，各个命令均可正常使用。

			
		

	





	

		

			

				
					
云原生|kubernetes|解决kube-proxy报错：Not using `--random-fully` in the MASQUERADE rule for iptables

				
			

			

				

					zsk_john的技术分享专用博客
				

				

					09-26
					
					991
					
				

			

		

		

			
				
可以看出，此警告仅仅是警告，好像不影响kubernetes集群的运行，但本着万一的原则，还是尽量消除此警告。如果libnetfilter_conntrack-devel没有安装，将会报模块connlabel 没找到。因此，计划升级iptables到1.6.2，现将iptables的升级过程记录下来，以免后面的人踩坑。这里说明一哈，都是使用的默认编译，编译产物在/usr/local/sbin目录下。

			
		

	





	

		

			

          精选资源
				
					
kubernetes 使用cilium 网络插件 替换kube-proxy

				
			

			

				

					02-10
				

			

		

		

			
				
1. 初始化Kubernetes集群时，需要跳过kube-proxy插件的安装，可以使用`kubeadm init`命令的`--skip-phases=addon/kube-proxy`选项。 2. 使用Helm安装Cilium，指定配置参数如关闭Hubble监测、Hubble Relay、...

			
		

	





	

		

			

				
					
Kubernetes核心技术组件Kube-Proxy解析

				
			

			

				

					专注于数据库技术分享，包含但不限于Oracle，MySQL，PostgreSQL，ElasticSearch及国产数据库等
				

				

					04-24
					
					1018
					
				

			

		

		

			
				
Kube-Proxy 是 Kubernetes 集群中的核心网络组件之一，负责实现 Service 的网络代理和负载均衡功能，确保集群内部和外部对 Service 的访问能够透明地转发到后端的 Pods。

			
		

	





	

		

			

				
					
Kubernetes中的Kube-proxy：服务发现与负载均衡的基石

				
			

			

				

					liuxin33445566的博客
				

				

					08-25
					
					1442
					
				

			

		

		

			
				
Kube-proxy 是 Kubernetes 集群中负责服务发现和负载均衡的关键组件。它通过维护集群内部的网络规则，确保网络流量能够正确地从服务访问点分发到后端的 Pod 上。本文将详细探讨 Kube-proxy 的工作原理、配置和使用，以及如何通过编程方式与之交互。Kube-proxy 是 Kubernetes 网络模型的一部分，它在每个节点上运行，负责维护网络规则，处理进入和离开节点的网络流量。

			
		

	





	

		

			

				
					
kubernetes集群监控 Kube-Prometheus-Stack

				
			

			

				

					叶青
				

				

					05-08
					
					2778
					
				

			

		

		

			
				
该项目开箱即用的功能，对k8s的监控指标是比较全面的，对于k8s的主要组件的运行状态如Node、Kubelet、Pod、Deployment、StatefulSet、CoreDNS、PV等资源进行了指标采集和监控，项目采用的是prometheus，并且有许多CRD资源，可以很方便通过编写yaml配置文件，来进行监控能力的扩充和告警阈值的设置。

			
		

	





	

		

			

				
					
kube-proxy启动报错修复记录

				
			

			

				

					weixin_38405770的博客
				

				

					03-26
					
					3390
					
				

			

		

		

			
				
kube-proxy 报错：Failed to execute iptables-restore: exit status 1
现象：k8s的某node节点 无法使用nodeport方式访问service服务（ip+nodeport），其他node节点正常

原因
kube-proxy组件没成功调iptables添加相关规则原因

操作
更换iptables的版本号降低到 iptables-1.4...

			
		

	





	

		

			

				
					
xtables lock

				
			

			

				

					bluekrystal的博客
				

				

					06-07
					
					1990
					
				

			

		

		

			
				
写了一个python脚本，通过统计iptables里是否有某个端口的策略，判断某个端口是否开启。


port_count = int((os.popen('iptables -L -n -v -w 1| grep -w 161 | wc -l').readlines()[0].rsplit(" "))[0])
if port_count == 0:
    os.system("/usr/sbin/iptables -I INPUT -p udp --dport 161 -j ACCEPT")
port_

			
		

	





	

		

			

				
					
kube-proxy Failed to retrieve node info: Unauthorized

				
			

			

				

					云淡风轻
				

				

					11-02
					
					4527
					
				

			

		

		

			
				
简介
fflannel 容器无法启动，看日志内容如下
I1102 02:32:56.069875       1 main.go:488] Using interface with name bond0.170 and address xx.xx.xx.xx
I1102 02:32:56.069940       1 main.go:505] Defaulting external address to interface address (xx.xx.xx.xx)
E1102 02:32:56.26530

			
		

	





	

		

			

				
					
Another app is currently holding the yum lock

				
			

			

				

					FangQiongHao的博客
				

				

					06-19
					
					427
					
				

			

		

		

			
				
提示问题是yum锁定状态
友好解决办法 : ps -ef|grep yum  找出运行的yum,kill -9 PID杀掉
强制解决办法 : rm -f /var/run/yum.pid



			
		

	





	

		

			

				
					
K8S 头疼问题小结

				
			

			

				

					 Dream_it_possible！的博客
				

				

					03-03
					
					1379
					
				

			

		

		

			
				
目录

1. 网络插件问题

2. 删除容器时一直处于Terminting状态

3.无法访问k8s.gcr.io问题解决

4.无法访问apiServer以及解决kubernetes客户端秘钥不匹配的问题

5. K8s 排错指南



1. 网络插件问题

    没有网络插件，k8s的集群就搭不起来，比如pod间的通信、k8s容器间的通信、pod与service间的通信，网络插件就是他们通信的网桥，我们可以使用官方提供的fannel网络插件， 部署网络fannel插件很简单，只需要使用正在r...

			
		

	





	

		

			

				
					
异常处理——Another app is currently holding the yum lock

				
			

			

				

					乔治大哥的博客
				

				

					09-28
					
					1589
					
				

			

		

		

			
				
解决方案：




			
		

	





	

		

			

				
					
出现Another app is currently holding the yum lock问题

				
			

			

				

					HEGH的博客
				

				

					11-01
					
					4294
					
				

			

		

		

			
				
在使用yum安装依赖是中间突然被断开连接，重新连接执行执行yum命令则报错

错误提示为：当前，另一个应用程序拥有yum锁； 等待它退出...


rm -f /var/run/yum.pid

强制关掉yum进程。然后就可以正常使用yum了
...

			
		

	





	

		

			

				
					
yum提示Another app is currently holding the yum lock; waiting for it to exit...问题的解决

				
			

			

				

					Mr.Li的博客
				

				

					03-01
					
					7021
					
				

			

		

		

			
				
Loaded plugins: fastestmirror, langpacks
Existing lock /var/run/yum.pid: another copy is running as pid 9207.
Another app is currently holding the yum lock; waiting for it to exit...
  The other appl...

			
		

	





	

		

			

				
					
大规模kubernetes集群中kube-proxy中的ipvs的scheduler设置哪个比较好 

					
最新发布

				
			

			

				

					06-11
				

			

		

		

			
				
### 在大规模 Kubernetes 集群中 kube-proxy 使用 IPVS 时的最佳 scheduler 设置  在大规模 Kubernetes 集群中，kube-proxy 使用 IPVS 模式可以显著提升性能和扩展性。IPVS 是基于内核的负载均衡解决方案，使用哈希...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值