图解kubernetes中informer机制基础设计原理

最新推荐文章于 2025-01-02 17:38:15 发布
最新推荐文章于 2025-01-02 17:38:15 发布
阅读量838 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_42952272/article/details/104755869
版权
本文深入探讨了Kubernetes中informer机制的基础设计，包括其获取数据的方式、基于chunk的消息通知、reflector的角色。重点介绍了设计优化，如本地缓存、索引、无界队列、事件去重、连接复用和观察者模式注册。informer通过这些优化减少了对apiserver的压力，提高了集群控制模块的效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

kubernetes中的informer机制可能是实现集群控制模块的最核心的设计之一了，本文从informer如何获取数据开始,然后介绍了为了减少apiserver而设计的缓存、索引、无界队列、共享informer等机制欢迎一起交流学习

1. informer的本质

1.1 设计目标

image.png 之前说到kubernetes里面的apiserver的只负责数据的CRUD接口实现，并不负责业务逻辑的处理，所以k8s中就通过外挂controller通过对应资源的控制器来负责事件的处理，controller如何感知事件呢？答案就是informer

1.2 基于chunk的消息通知

image.png watcher的设计在之前的文章中已经介绍，服务端是如何将watcher感知到的事件发送给informer呢？我们提到过apiserver本质上就是一个http的rest接口实现，watch机制则也是基于http协议，不过不同于一般的get其通过chunk机制，来实现消息的通知

1.3 reflector

image.png 服务端通过chunk进行数据的发送，在客户端同样的需要根

最低0.47元/天 解锁文章
8小时
关注
时间序列预测 — Informer模型原理
几度春风里的博客
11-20 2022
长序列时间序列预测（LSTF）需要模型具有很高的预测能力，即精确的捕捉输出和输入之间长时间依赖关系的能力。Transformer能很好的提高预测精度，然而Transformer存在几个严重问题，二次时间复杂度、高内存使用和编码器-解码器架构的固有限制。ProbSparse稀疏自注意机制，其时间复杂度和内存使用为，在序列依赖性对齐方面具有可比性能；自注意力提取突出显示主导关注，通过减半级联层输入有效处理极长输入序列；
Kubernetes 源码解析 - Informer 的工作原理
hanfengzxh的博客
06-30 373
上篇扒了 HPA 的源码，但是没深入细节，今天往细节深入。 为什么要有 Informer？ Kubernetes 中的持久化数据保存在 etcd中，各个组件并不会直接访问 etcd，而是通过 api-server暴露的 RESTful 接口对集群进行访问和控制。 资源的控制器（图中右侧灰色的部分）读取数据也并不会直接从 api-server 中获取资源信息（这样会增加 api-server 的压力），而是从其“本地缓存”中读取。这个“本地缓存”只是表象的存在，加上缓存的同步逻辑就是今天要是说的Inform.
理解 Kubernetes Informer 机制
zkfopen的博客
04-02 733
Kubernetes 中使用 http 进行通信，如何不依赖中间件的情况下保证消息的实时性，可靠性和顺序性等呢？答案就是利用了 Informer 机制。Informer 的机制，降低了了 Kubernetes 各个组件跟 Etcd 与 Kubernetes API Server 的通信压力。
informer 基本原理
YXD0514的博客
09-08 1905
Informer作者经过观察对于每一个Q来说，只有一小部分的K于其它关系较强，所以要找出有用的Q值。长序列很难预测准， 首先做预测，然后用预测的结果再去预测，非常困难。例如源码输出结果:32,8,96,25表示8头注意力,96个Q分别跟25个K计算的内积。在96个Q中,选出来差异最大的25个(根据序列长度来定的一个参数值)现在要选出来的是一些重要的Q,正常情况需每一个Q跟96个K计算。LSTM:在长序列预测中，如果序列越长，速度越慢，效果越差。得到的QK内积为:32,8,25,96,就是只选了25个Q。
Kubernetes之Informer机制详解
专注于输出大概有用的软硬件技术！
06-28 2143
本文尝试从Informer中的Lister、Watcher、Indexer、Store及Controller 5个组件展开对其进行详细阐述。希望对您有所帮助！
Kubernetes源码之informer机制分析
一只努力的微服务
07-22 2729
背景 informer是kubernetes非常重要的组件，负责各组件与apiserver的资源与事件同步。informer在许多组件中都有用到。乍一看可能比较难理解，但深入之后就会对kubernetes的事件处理机制与未来可能的瓶颈有更深刻的认识。 简单的来说，informer监听某些资源，从apiserver中接受该类型资源的变化，由用户注册的回调函数对资源变化进行处理，并将变化之后的对象持久化到本地缓存中。 源码分析 为了简单起见，我选择kubernetes的custom controller进行分析
Kubernetes Informer 详解
阳阳的博客
12-08 1648
文章转自于https://www.kubernetes.org.cn/2693.html Informer 基础功能 Informer 是 Client-go 中的一个核心工具包。在 Kubernetes 源码中，如果 Kubernetes 的某个组件，需要 List/Get Kubernetes 中的 Object，在绝大多 数情况下，会直接使用 Informer 实例中的 Lister()方法（该方法包含 了 Get 和 List 方法），而很少直接请求 Kubernetes API。Informe
client-go——informer 原理（五）
任我行的博客
05-28 768
文章目录1. 介绍2. 运行原理3. 示例 1. 介绍 前面我们在使用clientset的时候了解到我们可以使用clientset来获取所有的原生资源对象，那么如果我们想要去一直获取集群的资源对象数据呢？岂不是需要用一个轮询去不断查询List()操作？这显然是不合理的，实际上除了常用的CRUD操作之外，我们还可以进行watch操作，可以监听资源对象的增、删、改、查操作，这样我们就可以根据自己的业务逻辑去处理这些数据了。 watch通过一个event接口监听对象的所有变化（增加、删除、更新）： // 任何知道
k8s Informer机制
国产-达芬奇
03-28 657
核心模块 Informer只要由如下几个模块组成： Reflector Informer Indexer 其架构图如下： Reflector 通过上图，可以看到，Reflector内部实现了ListWatch机制，可以感知资源的变化，一个ListWatch只对应一种资源，包括k8s的内置资源，也可以是用户自定义的资源。当感知到资源的创建、更新、删除时，将资源放到Delta FIFO的队列里。 Informer Informer是我们要监听的资源的代码抽象，在Control...
什么是informer机制
weixin_38299404的博客
11-09 1062
Informer机制是kubernetes中不依赖任何中间件的情况下仅通过HTTP协议实现消息的实时性、可靠性、顺序性通信的一种机制。 k8s是典型的server-client架构。etcd存储集群的数据信息，apiserver作为统一的操作入口，任何对数据的操作都必须经过apiserver。 客户端通过ListAndWatch机制查询apiserver，而informer模块则封装了List-watch。 ListAndwatch是k8s统一的异步消息处理机制，保证了消息的实时性、可靠性、顺序性等，为声明
11. Informer 机制总结
qq_32468785的博客
02-28 1727
DeltaFIFO 可以分开理解，FIFO 是一个先进先出的队列，它拥有队列操作的基本方法，例如 Add、Update、Delete、List、Pop、Close等，而 Delta 是一个资源对象存储，它可以保存资源对象的操作类型，例如 Added（添加）操作类型、Updated（更新）操作类型、Deleted（删除）操作类型、Sync（同步）操作类型等。（1）r.listerWatcher.List 用于获取资源下的所有对象的数据，例如，获取所有 Pod 的资源数据。答案就是 Informer 机制。
k8s informer内部机制与控制器工作原理
Kason_iWiki
07-02 1024
k8s有一个非常核心的组件：”apiserver“ 所有对象的访问都由apiserver去操作，所谓的informer会提供一个list和watch机制(informer在启动以后会发起一个长链接请求apiserver，通常会第一时间list，接下来会watch，监听apiserver对象的任何变化) apiserver是一个json的序列化数据，程序要消费这个数据，则需要反序列化(字符串转换为go对象)，上图中Reflector，是通过反射机制实现的，会解析对象的key...
Kubernetes-源码研习社- Informer 机制
曾浩
08-17 479
Informer 机制 informer 运行架构图 Reflector 主要用于List 和watch 机制，List 用于获取indexer里面由controller缓存的数据，watch主要用于监听 api server获取 add update delete事件 DeltaFIFO 主要由两部分组成，一分部是Delta，delta主要是一个资源存储对象(add update delete resync) ，另外一部分是FIFO 先进先出队列（Add、Update、Delete、List、Pop、
kubernetes之operator开发及informer机制源码分析
xianmingsu的博客
02-22 1394
在Kubernetes中我们经常使用 Deployment、DaemonSet、Service、ConfigMap 等资源，这些资源都是Kubernetes的内置资源，而对这些资源的创建、更新、删除的动作都会被称为事件(Event)，Kubernetes 的 Controller Manager 负责事件监听，并触发相应的动作来满足期望（Spec），这种声明式的方式简化了用户的操作，用户在使用时只需关心应用程序的最终状态即可。随着 Kubernetes 的发展， 在一些场景更为复杂的分布式应用系统，原生 K
长时间序列预测算法---Informer
u012121721的博客
01-02 3636
Informer是一种针对长序列时间序列预测任务的高效深度学习算法。它通过引入自适应稀疏注意力机制和采样策略，克服了传统自注意力机制计算开销大和长期依赖建模困难的问题。Informer的核心创新在于使用了ProbSparse自注意力机制，以减少计算复杂度并提升预测精度。实验结果表明，Informer在多个长序列预测任务上超越了现有的时间序列预测模型，尤其在处理长序列时展现出显著的性能优势。
Kubernetes 控制器核心SharedInformer源码架构深入剖析-Kubernetes商业环境实战
weixin_30786657的博客
08-19 398
专注于大数据及容器云核心技术解密，可提供全栈的大数据+云原生平台咨询方案，请持续关注本套博客。如有任何学术交流，可随时联系。更多内容请关注《数据云技术社区》公众号。 1 万恶之源SharedInformer 1.1 SharedInformer启动的连锁反应（Controller.run） SharedInformer一窥真相 // 代码源自client-go/tools/cache/sh...
informer原理
最新发布
02-17
### Informer 时间序列预测模型原理 Informer是一种专门针对长序列时间序列预测设计的高效模型[^2]。传统Transformer由于其计算复杂度随输入长度呈二次增长以及较高的内存消耗，在处理长时间序列数据时面临挑战。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值