kubernetes federation 工作机制之资源对象同步

默默学K8S(一) kubernetes简介 Kubernetes是一个开源的,用于管理云平台中多个主机上的容器化的应用,Kubernetes的目标是让部署容器化的应用简单并且高效(powerful),Kubernetes提供了应用部署,规划,更新,维护的一种机制。 在Kubenetes中,所有的容器均在Pod中运行,一个Pod可以承载一个或者多个相关的容器,同一个Pod中的容器可以部署在同一个物理机器上并且能够共享资源。一个Pod也可以包... 阅读详情


0

1 前言

希望通过本文最简单的方式向熟悉k8s的人说明白其上的federation是干什么的,如何工作的。

关于federation,比较官方的说法是:集群联邦可以让租户/企业根据需要扩展或伸缩所需要的集群;可以让租户/企业在跨地区甚至跨地域的多个集群上部署、调度、监测管理应用。通过集群联邦,租户/企业可以在指定集群上部署应用,可以拉通私有云和公有云建立混合云(hybrid cloud)。

如在design-proposal 中描述的federation提供了cross-cluster scheduling, cross-cluster service discovery, cross-cluster migration, cross-cluster**ing and auditing, cross-cluster load balancing。

简单讲就一句话。能调用一个api,向操作一个k8s集群一样操作多个k8s集群。主要是拉通其下的k8s集群在上部署应用,发布服务,并且可以让其互相访问。

那么是怎么做到的呢?熟悉了kubernetes代码和主要的工作逻辑会发现非常简单。简单看下这部分代码会就会发现federation有如下特点:

  1. 复用了kubernets的机制
  2. 复用kubernetes的代码
  3. 扩展了kubernetes的对象(的定义和功能)

2. 架构

Federation 层的主要组件包括Federation-API Server,Controller-Manager和ETCD。根据Decoupled 的设计的目标和kubernetes 共用类库,而不是共用一个紧密的结构结构。在结构上解耦可以保证,Federation层故障,其下的每个个kubernetes集群不受影响。另外FederationAPI接口和kube-api接口完全兼容,用户可以像之前操作单个kubernetes集群一样操作联邦。

和Kubernetes类似,用户通过kubectl或者API调用向FederationAPI server的接口创建和维护各种对象,数据对象被持久化存储在Federation的ETCD中。联邦只是维护了规划,真正干活还是在其下的各个Cluster上(现实生活中其实也总是这样,你见过在联邦的川普干过什么正经事情)。真正关键的联邦如何通过一个统一的入口来接收请求,在各个cluster上调度。具体到(代码)功能就是联邦中指令如何在cluster上被落实执行。

联邦和其下k8s 集群的调用关系。调用细节下面描述。

3. 主要流程

关键就在于Federation的组件Controller-manager。和K8s其他的controller作用和工作机制类似,通过watch api-server 执行动作来维护集群状态。Federation的Controller-manager的处理逻辑和kubernetes略有不同,在于它一般都要连两个API server,watch 3个API 对象

对于每种Resource对象,都对应一个Controller,在Federation的Controller-manager启动时,启动这些Controller。

以ConfigMap为例,ConfigMapController启动后会watch如下三类接口:

  1. Federation API server的Cluster接口federation/v1beta1/cluster;
  2. Federation API server的ConfigMap接口v1/configmap;
  3.  Federation 管理的 N 个kubernetes cluster的Kube-API server 的ConfigMap的接口:v1/ configmap

当ConfigMapController watch到有户通过Federation API 创建(或者更新删除)一个ConfigMap,则会调用对应的每个cluster 的kube-apiserver创建(或者更新删除)对应的ConfigMap。

当ConfigMapController Watch到有新的Cluster加入进来时,调用新的Cluster的kube-api接口创建ConfigMap。Configmap、Secret等对象都是依照以上逻辑,从上向下Sync。

以ConfigMap 的controller为例,其他的都是遵从同一个模板流程。在NewConfigMapController场景controller时对watch 3个api。

Federation API server的ConfigMap接口v1/configmap;

Federation 管理的 N 个kubernetes cluster的Kube-API server 的ConfigMap的接口:v1/ configmap

Federation API server的Cluster接口:federation/v1beta1/cluster;

在controller的run中执行reconcile时一般启动两个Hander处理,一个是调用reconcileConfigMap处理一个特地给的configmap,另外一个是调用reconcileConfigMapsOnClusterChange,处理federation的所有configmap。

 

federation/pkg/federation-controller/configmap/configmap_controller.go# reconcileConfigMap

即获取每个cluster上这个configmap的是否存在,如果不存在则构造一个Add的operation,存在则构造一个Update的operation,最终会调用对应cluster的kube-api,在对应的cluster上创建。

Operation中包括数据对象、集群名、操作动作等参数。

即会根据cluster名选择对应的Clientset,连接对应cluster的kube-apiserver上执行对应的操作。而对应的Updater操作在controller被创建的时候定义。这里分别是执行Configmap的创建更新和删除。

而对所有configmap的检查是通过调用reconcileConfigMapsOnClusterChange

其实就是当一个新的cluster可用时,触发所有的configmap对象的 reconciliation。其实就是加到deliver的队列中,等待在due的时间被执行。

这里示例中是通过Configmap的configmap_controller来看这个过程,打开代码结构federation-controller下每个对象都有一个controller。

打开看代码发现主要的结构都差不多。对比下secret_controller.go和configmap_controller的一个代码片段,可以看到简直是拷代码了。

在当前的upstream上,以上逻辑都抽象成一个模板流程在Sync中。可以看到configmap、secrete等大部分对象(甚至包括Deployment)都被模板化了。

4 关于应用部署和服务发现

Deployment(RS)和 Service作为两个比较特殊的资源对象,主要流程也是参照了上面的流程。差别在于Deployment在Federation层在应用上加了个annotation,来描述在cluster如何部署应用。在其reconcile的方法中会调用一个schedule的逻辑来解析配置的策略,进而决定在不同的cluster创建多少个实例,然后调用对应cluster的接口来创建实例。这个后面作为一个专题专门描述下规则和解析下这部分的实现。

而Service的逻辑可能更要略微复杂一些,上面描述的controller主流程中从Federation层向下的Sync来维护状态外,还包括从其下的cluster集群向federation层同步数据的过程。这个主要是因为Federation跨集群的服务注册和服务发现需要。主要思路是在Federation的Service扩展了k8s service的定义,即在Federation层创建一个Service,则会在对应的集群里创建同样的service,每个集群的service要求有一个可以被外面访问的地址,作为在federation层service的endpoint,并且会在全局的DNS中注册对应的域名。当下面某个cluster的service的所有endpoint都不可用或该集群故障时,federation层service和域名都要被更新。 这部分后面也会专门描述下。

Unity资源管理演进史:从Resources到Runtime Asset Management Unity资源管理是游戏与交互应用开发中的基础技术概念,其核心在于平衡加载效率、内存占用、包体大小与热更能力。从早期Resources的静态全量打包,到AssetBundle的手动分组与依赖管理,再到Addressable Assets的自动化管线与地址化加载,技术演进始终围绕‘运行时可控性’与‘构建期可预测性’两大原理展开。其技术价值体现在显著降低首屏加载耗时、提升热更成功率、支撑XR/WebGL等受限平台的资源持久化需求。典型应用场景覆盖中大型手游、Pico4等XR设备开发、WebGL教育产品及跨平台工 阅读详情

相关推荐

Kubernetes Federation与多集群管理的实践

本文深入探讨了Kubernetes联邦的两个版本及其对多集群管理的影响。Federation v1已过时,而Federation v2(KubeFed)引入了CRDs和自定义控制器,支持跨多个集群的高可用性部署。同时,文章分享了管理多集群的最佳实践,以及如何将外部服务导入Kubernetes集群。

weixin_35257663的博客 964

Kubernetes Federation整体架构解读(v1、v2版本)

       近期云原生圈中多云(Multi-Cloud)和混合云的概念受到了很多关注,通过IBM、Vmware这俩笔收购不难看出,云服务商正在相继开拓混合云市场。在IBM收购Redhat的声明中,俩家公司强调它们将联合推动基于kubernetes的混合云解决方案,并致力成为多云和混合云市场的领导者。VMware对Heptio的收购中也表示,将加强PKS与Heptio产品的合作,通过Kuberne...

JackXuF的专栏 6316

kubernetes-cluster-federation, Kubernetes群集联合教程.zip

kubernetes-cluster-federation, Kubernetes群集联合教程

Kubernetes-核心组件-Federation

分享一个大牛的人工智能教程。零基础!通俗易懂!风趣幽默!希望你也加入到人工智能的队伍中来!请点击http://www.captainbed.net 在云计算环境中,服务的作用距离范围从近到远一般可以有:同主机(Host,Node)、跨主机同可用区(Available Zone)、跨可用区同地区(Region)、跨地区同服务商(Cloud Service Provider)、跨云平台。K8s的设计定位是单一集群在同一个地域内,因为同一个地区的网络性能才能满足K8s的调度和计算存储连接要求。而集群联邦(Fed

了解➔熟悉➔掌握➔精通 3万+

Unity 调用安卓内部安装apk

一、申请权限 应用内安装其他应用的权限属于特殊权限,需要在特殊申请。 Uri packageURI = Uri.parse("package:" + mContext.getPackageName()); Intent intent = new Intent(Settings.ACTION_MANAGE_UNKNOWN_APP_SOURCES, packageURI); startA...

BDDNH的博客 1249

华为ENSP完整安装教程

华为ENSP完整安装教程

Hnm456756的博客 7349

Kubernetes Federation集群联邦

统一部署主要是指定一个联邦资源在哪些k8s集群部署,被指定的k8s集群会创建相应的k8s资源,有副本数的资源k8s集群上部署的副本数与联邦资源写的副本数一致(除非针对特定k8s集群进行了覆写,后面有例子),其中deployment 和 replicaset可以用 ReplicaSchedulingPreference 实现更复杂的调度策略,比如指定总副本数,以及在每个k8s集群的副本数权重,调度器会按要求调节每个k8s集群的副本数达到相加后是总数的目的。

阿澈不吃蒜的博客 2741

智能车竞赛新手必看:单车定向组直线竞速与八字慢速实战技巧

本文为智能车竞赛新手提供单车定向组直线竞速与八字慢速的实战技巧,涵盖赛道分析、动力调校、传感器配置等关键环节。通过真实案例和代码示例,详细讲解如何平衡速度与稳定性,帮助选手避免常见失误,提升比赛成绩。特别针对智能车竞赛中的直线竞速和八字慢速项目,提供从硬件选型到临场策略的全方位指导。

weixin_28718793的博客 435

Kubernetes 联邦机制介绍

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34200628的博客 636

C和C++Everything教程的简介

C和C++Everything教程的简介 C和C++Everything教程,该专栏目前已有8000博文,订阅该专栏相当于同时订阅以下所有收费专栏

希望我的博客,能帮上你解决学习中工作中所遇到的问题 4394

OpenClaw(Clawdbot/Moltbot)如何正确的配置浏览器,实现对浏览器的自动化操作功能(浏览器状态为running:false怎么办)

OpenClaw(Clawdbot/Moltbot)浏览器自动化功能无效?🤖 本文详细介绍如何解决这个问题🔧,让你的OpenClaw(Clawdbot/Moltbot)真正具备"睁眼看世界"的能力,支持网页搜索、点击操作和截图等功能 ✅

XiaoqiangClub的博客 8116

hdfs federation 联邦集群配置及原理

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33826609的博客 779

在 TASKPROCESSING 上为 ABAP OData 服务添加多个系统别名:从原理到落地的完整实践

本文面向SAP Gateway与ABAP开发者,详细讲解如何在TASKPROCESSING OData服务上添加系统别名。首先介绍了系统别名的概念与设计初衷,阐述了添加别名的业务场景需求,包括多系统接入、用户分流和灰度发布等。随后提供了标准配置步骤,从SPRO路径到具体操作说明,并分享了三个实际案例说明如何实现跨区域统一待办、按用户角色分流和灰度发布。最后给出了验证方法和常见问题解决方案,帮助开发者掌握这项基础但关键的配置技能,实现服务路由的可控管理。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 138

federation机制的最新发布_基于Federation实现Kubernetes跨集群应用调度实践

1 Kubernetes Federation介绍1.1 Kubenetes Federation概述Kubernetes Federation实现在混合云模式下统一管理多个跨region或者跨公有云供应商的Kubernetes集群,使Kubernetes应用支持在多个跨区域集群之间部署、调度以及同步,从而实现应用的高可用以及灾备的效果。Kubernetes Federation主要包含...

weixin_39528843的博客 987

图神经网络与大模型融合的理论综述:架构、机制与未来方向

然而,它们普遍缺乏对图结构数据的原生支持,无法直接处理边、节点之间的拓扑关系,这限制了其在关系密集型任务中的表现 [23]。2020年发布的BERT [16] 开启了自监督预训练时代,而2021年后,T5 [17]、PaLM [18]、LLaMA [19] 等模型相继推出,参数规模突破千亿级,展现出惊人的上下文学习(In-context Learning)与链式推理(Chain-of-Thought)能力 [20]。例如,将医学影像作为图节点,结合病理报告文本,实现更精准的疾病诊断 [58]。

andeyeluguo的博客 297

第八届传智杯微信小程序开发挑战赛练习题库

本文是微信小程序开发练习题库,包含单选题、多选题和判断题三种题型。单选题主要考察小程序开发基础知识,如数组方法、组件使用、API调用等;多选题涵盖样式属性、页面跳转、数据处理等综合知识;判断题则测试开发者对小程序特性、生命周期、功能限制等概念的理解。题目内容涉及小程序开发的各个方面,包括组件使用、API调用、数据绑定、页面配置等核心知识点,适合开发者进行自我测试和知识巩固。

qq_73044452的博客 507

Kubernetes (federation)联邦机制介绍

Federation(联邦) 此页面解释了为什么以及如何使用联邦来管理多个Kubernetes集群。 Why federation Caveats Hybrid cloud capabilities Setting up federation API resources Cascading deletion Scope of a single cluster Selecting the right number of clusters What’s next 为什么联邦 联合可以

只为成功找方法 不为失败找借口 1329

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Kubernetes Federation 项目教程

Kubernetes Federation 项目教程 1. 项目介绍 Kubernetes Federation(简称 KubeFed)是一个开源项目,旨在帮助用户将多个 Kubernetes 集群联合起来,实现跨集群的资源管理和应用部署。KubeFed 允许用户在多个集群之间共享资源,如服务、配置和存储,从而提高应用的可用性和可扩展性。 KubeFed 的核心组件包括: Federation ...

gitblog_00655的博客 927

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

【kubernetes/k8s概念】多集群联邦 kubefed

Kubernetes Federation(联邦) 目的是希望实现单一集群统一管理多个Kubernetes集群,这些集群可能是跨地区(Region),也可能是在不同公有云供应商(Cloud Provider)上,亦或者是公司内部自行建立的集群。 安装 helm v3 版本 下载 helm v3, 二进制文件 /usr/local/bin/helm wgethttps://get.helm.sh/helm-v3.6.0-linux-amd64.tar.gz ...

zhonglinzhang 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

Kubernetes+Federation打造跨多云管理服务

Kubernetes日渐普及,在公有云、私有云等多个环境中部署kubernetes集群已是常规做法,而随着环境的复杂多样和集群数量增长,如何高效地管理这些集群成为新的问题。于是跨多云管理服务应运而生。 华为云高级工程师Fisher在Cloud Native Days China 2019杭州站发表了名为《Kubernetes+Federation打造跨多云管理服务》的议题,介...

weixin_30279671的博客 361

Apollo Federation与Kubernetes集成:云原生部署方案

Apollo Federation作为构建分布式GraphQL服务的强大工具,与Kubernetes的云原生部署方案结合,能为企业级应用提供高可用、可扩展的API架构。本文将详细介绍如何在Kubernetes环境中部署和管理Apollo Federation,帮助开发团队快速实现服务的弹性扩展与无缝更新。 ## 为什么选择Apollo Federation与Kubernetes? Apollo

gitblog_00723的博客 200

Kubernetes(k8s)专题

Kubernetes Kubernetes 1 介绍说明 1.1 发展历程 1、MESOS 是PACHE 下开原分布式资源管理框架 ,在 2019-5 最大使用者Twitter 全部转向为 Kubernetes 2、Docker Swarm 是开原分布式资源管理框架 ,在2019-07 阿里云宣布 Docker Swarm 集群框架从阿里云选择框架中剔除 3、 Kubernetes 由Google开发,Golang具有10年容器化基础框架 1.2 K8s概念/术语 1、Cluster 集群 K8s可利用的主

z12456784554的博客 1069

Kubernetes Federation (KubeFed) 用户指南:从入门到实践

Kubernetes Federation (KubeFed) 用户指南:从入门到实践 前言 Kubernetes Federation(简称KubeFed)是Kubernetes官方提供的多集群管理解决方案,它允许用户在多个Kubernetes集群间统一管理资源。本文将深入浅出地介绍KubeFed的核心概念和实际操作方法,帮助您快速掌握多集群管理技能。 核心概念回顾 在开始实践前,建议先了解以下...

gitblog_00680的博客 616

sealed-secrets多集群密钥同步:使用联邦机制保持一致

在 Kubernetes(K8s)环境中,随着集群数量的增长,密钥(Secret)的跨集群同步成为运维团队面临的核心挑战。根据CNCF 2024年调查,73%的企业运行超过3个K8s集群,但仅有29%实现了密钥的自动化跨集群管理。**sealed-secrets**作为Kubernetes生态中主流的密钥加密方案,通过"一次加密,多集群解密"的特性为这一问题提供了新思路。本文将系统讲解如何利用se...

gitblog_00625的博客 956
上一篇: Linux集群批量管理工具parallel-ssh(PSSH)的安装与使用
下一篇: 跨集群服务——如何利用Kubernetes 1.3实现跨区高可用
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值