跨集群服务——如何利用Kubernetes 1.3实现跨区高可用

【云原生技术】Kubernetes(K8S)中,不同集群之间的服务可以通过以下几种方式进行联系 当涉及在Kubernetes(K8S)中连接不同集群的服务时,可以使用多种技术和工具。这些方法和示例展示了如何在不同的Kubernetes集群之间建立稳健和安全的服务通信通道,以满足各种应用场景和安全需求。选择合适的联系方式取决于你的具体需求,包括安全性、性能、复杂性和可管理性等方面的考量。选择合适的方式取决于你的具体场景、安全需求和集群架构。 阅读详情

摘要:编者按:这篇文章是关于Kubernetes 1.3新功能的一系列深入文章的一部分。本文是第七篇。

编者按:这篇文章是关于Kubernetes 1.3新功能的一系列深入文章的一部分。本文是第七篇。


用户使用Kubernetes 对生产环境上的部署进行弹性伸缩,同时我们听到一个明确的声音:希望跨区域、跨数据中心、跨集群和跨云服务商来部署服务。

跨集群服务能够分布在不同的地理位置,使得混合和多云成为可能,相对于单一集群多可用区部署,更好地保证高可用。

客户希望他们的服务能跨越一个或多个(可能是远程)集群,不管从集群的内部和外部访问这些服务,都有一致的体验。

在Kubernetes 1.3中,我们的目标是在管理地理位置上分散的多集群服务时,尽量减少管理开销。这篇文章解释了如何做到这一点。

注:例子中,我们利用谷歌容器引擎(GKE)提供的Kubernetes集群,在该平台上,你可以把Kubernetes部署到想要的地区。

那我们就开始吧。第一步是创建,使用GKE在4个可用区内创建Kubernetes集群。

●   asia-east1-b

●   europe-west1-b

●   us-east1-b

●   us-central1-b

让我们运行以下命令来构建集群:

跨集群1

首先,我们验证集群是否被创建:

跨集群2
跨集群3

其次,引导集群并部署集群联邦控制平面。如果你想跟着操作,可以参照经过相关的步骤Kelsey Hightower的教程。

联邦服务

联邦服务(Federation service) 被分发到联邦API endpoint,并指定服务属性。

一旦创建,联邦服务自动执行以下操作:

1.  在集群联邦下的每个集群内创建对应的Kubernetes service

2.  监视这些服务的健康

3.  在一个公共DNS服务商 的平台上管理一组DNS记录(如谷歌云DNS或AWS route53),从而确保联邦服务的客户端可以在任何时间无缝的定位到一个合适(且健康)的服务。即便在集群、可用区、或地域性的服务发生中断时,也能够保证联邦服务正常访问。

如果Federation Server在一个集群中的一个kubernetes service副本是健康的,那么在该集群内的Federation Service 客户端会自动探测到该服务。

如果该集群内的副本运行状态异常,客户端也能够找到临近集群中的一个副本。

Kubernetes集群联邦可以管理运行在不同云服务商(例如GCP,AWS)的集群,以及私有部署的集群(例如OpenStack平台上)。

你需要做的是在适当的云供应商和/或位置创建集群,并注册每个集群的API端点以及联邦API服务器的凭据。

在这个例子中,我们在4个区分别创建了一个集群,并在一个可用区部署联邦控制平面 API ,我们将使用它管理服务。结构见下图:

跨集群4


创建联邦服务

列出联邦内的所有集群:

跨集群5

接下来我们创建一个联邦服务对象

跨集群6

'--context=federation-cluster' 标签表明 kubectl可以使用适当的证书向联邦API端点提交请求。

联邦服务会自动创建,并管理所有集群下 对应的Kubernetes服务。

你可以通过检查集群内的每一个来验证,例如:

跨集群7

上面的命令假设你已经为客户端配置了“gce-asia-east1a”这个区的上下文环境。

底层服务的名称和命名空间将自动匹配你所创建的联邦服务。

联邦服务的状态也会自动反映底层 Kubernetes服务的实时状态,例如:

跨集群8

联邦服务的 'LoadBalancer Ingress' 地址对应所有底层Kubernetes服务的 'LoadBalancer Ingress' 地址。

为了让服务能够同时在集群内以及跨云服务商均可用,需要为服务配置一个外部可见的IP地址。服务类型 Loadbalancer 非常适用于这个场景。

注意:我们配置任何后端Pods 处理 Service Endpoints接收到的流量,所以联邦服务认为这些服务是不健康的,因此没有将这些地址添加到联邦服务的DNS记录。

增加后端Pods

为了让底层的服务分片(指每个集群中的Kubernetes Service),我们需要为它们添加后端Pods。

目前可以通过底层集群的API 接口实现,将来使用一条命令,联邦服务器就会为你做所有这些事情。

例如,在我们的底层集群中创建后端Pods:

跨集群9

验证公共DNS记录

 一旦 Pods成功启动并开始监听连接,Kubernetes的健康检查机制会把它认定为对应Service的一个健康的endpoint。

然后,集群联邦将认定每个集群中的服务分片是健康的,并将其添加到公共DNS记录。

你可以向DNS提供商验证这一点。例如,如果你的联邦使用Google Cloud DNS以及管理DNS域 'example.com'来配置:

$ gcloud dns managed-zones describe example-dot-com 

creationTime: '2016-06-26T18:18:39.229Z'description: Example domain for Kubernetes Cluster Federation
dnsName: example.com.
id: '3229332181334243121'kind: dns#managedZonename: example-dot-com
nameServers:
- ns-cloud-a1.googledomains.com.
- ns-cloud-a2.googledomains.com.
- ns-cloud-a3.googledomains.com.
- ns-cloud-a4.googledomains.com.

$ gcloud dns record-sets list --zone example-dot-com

NAME                                                                                                 TYPE      TTL     DATA
example.com.                                                                                       NS     21600  ns-cloud-e1.googledomains.com., ns-cloud-e2.googledomains.com.
example.com.                                                                                      SOA     21600 ns-cloud-e1.googledomains.com. cloud-dns-hostmaster.google.com. 1 21600 3600 1209600 300nginx.mynamespace.myfederation.svc.example.com.                            A     180     104.XXX.XXX.XXX, 130.XXX.XX.XXX, 104.XXX.XX.XXX, 104.XXX.XXX.XX
nginx.mynamespace.myfederation.svc.us-central1-a.example.com.     A     180     104.XXX.XXX.XXX
nginx.mynamespace.myfederation.svc.us-central1.example.com.
nginx.mynamespace.myfederation.svc.us-central1.example.com.         A    180     104.XXX.XXX.XXX, 104.XXX.XXX.XXX, 104.XXX.XXX.XXX
nginx.mynamespace.myfederation.svc.asia-east1-a.example.com.       A    180     130.XXX.XX.XXX
nginx.mynamespace.myfederation.svc.asia-east1.example.com.
nginx.mynamespace.myfederation.svc.asia-east1.example.com.           A    180     130.XXX.XX.XXX, 130.XXX.XX.XXX
nginx.mynamespace.myfederation.svc.europe-west1.example.com.  CNAME    180   nginx.mynamespace.myfederation.svc.example.com.
... etc.

注意:如果你的联邦使用AWS route53,你可以用一个等价的AWS的工具,例如:

跨集群10

无论你使用什么DNS提供商,DNS查询工具(dig 或 nslookup )都会让你看到联邦创建的记录。

从联邦集群 pods 中发现联邦服务

 默认情况下,Kubernetes集群预配置了本地集群DNS服务器('KubeDNS'),以及智能化构建DNS搜索路径来确保如“myservice”的DNS查询。

"myservice.mynamespace", "bobsservice.othernamespace" 等通过运行在Pods内的软件自动扩展,从而解析到本集群内的适当服务IP。

引入联邦服务和跨集群服务发现后,这个概念延伸到联邦服务,即全局有效。

为了便于全局使用,我们使用了一个略有不同的DNS名称(例如myservice.mynamespace.myfederation)来解析联邦服务。

使用不同的DNS名称也避免了现有应用流量在未明确配置的情况下在跨区域或跨地域的网络流动,带来额外的网络费用或延迟。

因此,使用上面的NGINX 实例服务以及描述过的联邦服务DNS名称。

我们考虑一个例子:在us-central1-a可用区域的nginx Pod需要联系Nginx service。

按照传统的方式,Pod会找到本地集群中对应service的DNS名称("nginx.mynamespace", 可以自动拓展到"nginx.mynamespace.svc.cluster.local")。

现在,新的方式要强大得多。它可以使用该服务对应的联邦DNS名称,即"nginx.mynamespace.myfederation"。

联邦DNS会被自动扩展并解析到最近的健康 NGINX service(服务分片),这个service可能在世界的任何地方。

如果一个健康的服务分片存在于本地集群,将使用service的本地(通常为10.x.y.z)IP( 通过本地KubeDNS)。

这相当于非联邦服务解决方案,即一个传统的单集群解决方案。

如果本地集群中不存在对应的Service(或者存在,但没有健康的后端pods),DNS查询自动扩展到"nginx.mynamespace.myfederation.svc.us-central1-a.example.com"。

在背后,系统会在最近的可用区查找对应的service。域名扩展由KubeDNS 自动执行,并返回相关的CNAME记录。

所以在上面的例子,KubeDNS会遍历DNS记录的多个层级,遍历到本地( us-central1 区域)联邦服务的外部IP时结束。

如果显式地指定DNS名称,那么系统将不使用域名自动扩展,而是会直接解析到对应可用区的服务分片。

例如"nginx.mynamespace.myfederation.svc.europe-west1.example.com"将被解析到欧洲所有的健康服务分片。

即使提起查找操作的Pod在美国,也不管美国是否有健康的服务分片。这对远程监控和类似的应用都很有用。

在联邦集群外部的客户端中发现联邦服务

对于外部客户端,就无法使用DNS自动扩展了。

外部客户端需要指定一个合法的DNS名称(一个全球可访问的名称)。

方便起见,可以你的服务中手动配置额外的静态CNAME记录,例如:

跨集群11

这样客户端就可以随时使用左边的短域名,并能被自动路由到最近最健康的服务分片。所有故障都交给Kubernetes集群联邦处理。

后台Pods以及整集群的故障处理

标准的Kubernetes服务集群IP能确保将不响应的Pod endpoint 自动从低延迟的服务中移除。

类似的概念,Kubernetes集群联邦能够自动监控集群和联邦服务背后的kubernetes service endpoints,按需添加和移除服务分片。

由于DNS缓存延迟(缓存超时,联邦服务DNS的TTL默认是 3分钟,但可以调整),灾难性故障的情况下, 让所有客户端故障切换到到另一个集群可能需要很长时间。然而,鉴于每个区域的Kubernetes Service endpoint 均有多个IP(例如以上的 us-central1有三个),只要进行适当的配置,很多客户端都能够在很短时间内切换到其中一个替代的IP.

社区

 我们希望听到Kubernetes跨集群服务的反馈。您可以加入以下社区:

●   GitHub上的文章问题或功能要求 (https://github.com/kubernetes/kubernetes/tree/master/federation)

●   在Slack的联邦渠道加入我们(https://kubernetes.slack.com/?redir=%2Fmessages%2Fsig-federation)

●   参与集群联邦SIG (https://groups.google.com/forum/#!forum/kubernetes-sig-federation)

银行一表通监管报送系统详解 国家金融监管总局对于“一表通”的总体描述为:通过建立一套明细级、标准化的数据体系和汇总计算规则,将银行机构传送至监管可信区的业务明细数据汇总生成财务指标、监管指标和监管报表,大幅提升监管数据时效性,统一数据标准,实现数据间的穿透和整合,同时改变机构多头报送数据模式,减轻机构报送负担。 阅读详情

相关推荐

MMWCAS-DSP-EVM与AWR2243实战:从开箱到数据采集的完整避坑指南

本文提供了MMWCAS-DSP-EVM与AWR2243毫米波雷达评估板从开箱、软硬件准备、固件烧录到数据采集的完整实战指南。重点解析了硬件连接、软件版本匹配、固件烧录、网络配置及MMWave Studio GUI操作等关键步骤,并汇总了常见问题排查方法,帮助开发者快速上手并规避常见陷阱。

algae的博客 506

容器注册到consul_「架构」kubernetes 跨集群 服务注册与发现方案探讨

原创:80后程序员的世界观(微信公众号ID:zhuangmeilicom),欢迎分享,转载请保留出处。本文分三个部分:kubernetes 集群内部的服务注册与发现kubernetes consul实现服务注册与发现kubernetes 跨集群服务注册与发现一、kubernetes 集群内部的服务注册发现k8s平台通过kube-dns或者coreDNS实现了服务注册和发现功能。对于应用来讲,这个功...

weixin_29006187的博客 1182

AI办公Agent技术:文档与表格智能处理实践

办公自动化技术正从规则驱动转向语义理解,大语言模型(LLM)为办公Agent赋予了智能决策能力。这类系统通过五层架构整合自然语言处理、工具API调用和任务规划引擎,能自动完成文档分类、表格分析等高重复性工作。关键技术包括基于TF-IDF和BERT的特征提取、Excel公式自动生成等,在财务报告、法律审查等场景可实现90%以上的效率提升。随着多模态能力和领域专业化发展,办公Agent正在重塑企业文档处理流程,成为数字化转型的核心基础设施。

weixin_30263277的博客 522

503 Service Temporarily Unavailable

<br />转自http://www.ccvita.com/283.html的一篇文章<br /> <br />Apache最近总是不时的出现这个错误<br />进过排查发现是Apache的mod_bw模块的设置造成的<br /><br />ForceBandWidthModule On<br />BandWidthModule On<br />BandWidth all 1024000<br />MaxConnection all 150<br /><br />在这种配置文件下,按照文档说的可以支持到Ap

cnhome的专栏 2484

SNN系列|编码篇(2)时序编码

Tempotral Coding 选择编码方法是要根据编码对象以及模型如何处理编码信息进行选择,如下是一种时序信息的编码对比: Threshold-based encoding 又称为tempotral contrast,该方法可以用于编解码一段序列,当差值超过阈值时发放脉冲,阈值是根据编码的序列自适应变化的。 使用该编码方法时,实值序列最好是沿时间变化的,因为在根据差分决定是否发放脉冲后,脉冲的顺序与差分顺序有关。 Time-to-first spike coding 该编码方法将信息用神经元首次

Tianlong Lee的博客 1万+

【RT-DETR实战】RT-DETR实战手记(200):端侧实时目标检测,下一步往哪儿走?

昨天深夜调一个模型部署,在树莓派4B上跑RT-DETR-nano,帧率死活卡在8FPS上不去。量化也做了,算子也优化了,内存对齐也检查了,可就是离实时检测的底线还差一截。盯着终端里跳动的数字,突然意识到——我们可能正在接近当前技术路径的瓶颈。端侧实时目标检测的下一个突破口,恐怕不在现有框架的修修补补里。

企鹅码农的专属播客,分享10多年的实战案例和经验解读,包含YOLO、RT-DETR、AI等各个工作领域。 187

实现Kubernetes跨集群服务应用的高可用

我们在进行生产环境部署时得到的一个明确的需求,是Kubernetes用户希望服务部署能够zone、跨区域、跨集群甚至跨云边界(译者:如跨云供应商)。相比单集群多zone部署,跨集群服务提供按地域分布,支持混合云、多云场景,提升高可用等级。客户希望服务能够跨一到多个集群(可能是本地或者远程集群),并希望这些集群无论内部或外部都有一致稳定的连接。 在Kubernetes 1.3版本,我们希望降低跨...

u014389734的博客 788

使用Python爬虫抓取旅游景点评价数据并进行热度可视化

景点热度通常由景点的评分、评论数以及游客的热情度来决定。高热度的景点通常意味着更高的游客评分和更多的游客评论。热度不仅反映了景点的受欢迎程度,还可以揭示某些景点的潜力和存在的问题。评分:游客对景点的综合评分,通常是0到5分。评论数:景点的评论数量,反映了游客对景点的关注程度。热度变化:在一定时间内,景点的评价和评论数量变化,能够反映景点的热度波动。通过使用Python爬虫技术抓取旅游景点的评价和评论数据,我们能够深入分析景点的热度,并通过数据可视化工具将这些信息展示给用户。

2201_76125261的博客 1282

跨集群服务——实现Kubernetes应用的高可用

我们在进行生产环境部署时得到的一个明确的需求,是Kubernetes用户希望服务部署能够zone、跨区域、跨集群甚至跨云边界(译者:如跨云供应商)。相比单集群多zone部署,跨集群服务提供按地域分布,支持混合云、多云场景,提升高可用等级。客户希望服务能够跨一到多个集群(可能是本地或者远程集群),并希望这些集群无论内部或外部都有一致稳定的连接。在Kubernetes 1.3...

全网:架构师研究会 161

智能车图像处理5-入门级分析4 ---环岛的状态机与补线

PS :入门级文章适合新手,如果已经有基础可以去看进阶篇文章。

taiyuezyh的博客 8273

《YOLO11改进有效涨点》 专栏目录 | 目前已有100+篇内容,内含各种Head检测头、损失函数Loss、Backbone、Neck等创新点改进【持续更新】

YOLO11改进专栏目录,YOLO11改进目录

kay_545 1万+

Quickwit跨集群复制:数据高可用与灾备方案

当你在生产环境部署Quickwit时,是否曾面临这些痛点:单区域部署遭遇意外事件导致数据丢失?跨区域搜索延迟过高影响用户体验?夜间批量索引更新失败导致服务中断?作为亚秒级云原生搜索分析引擎,Quickwit的数据可靠性架构直接决定了业务连续性能力。本文将系统剖析基于现有组件构建高可用方案的实现路径,包括跨区域数据复制、自动故障转移和灾难恢复策略,帮助你构建RTO...

gitblog_00303的博客 716

物料分类账-返工工单(自身)差异分摊逻辑

如上图所示,当月入库的全部消耗,而返工消耗的数量为100PCS,所以返工消耗占总消耗的比例为100pcs/(205pcs+100pcs)=0.327868852。备注:红色箭头的物料号为产品自己本身所产生的价差,就是返工工单所承担的差异,而我们要计算的就是这个值,所以计算价差不会包括此项。价差合计就是不包括初始分摊的价差9153.7,剩下的价差合计就是返工工单自身所承担的差异4465.21。每一次返工工单所承担的差异都会按照价差*承担比例去计算承担的差异,知道承担完所有差异。

Yeol827的博客 2503

如何实现k8s高可用

• API Server 冗余:部署至少 3 个 Master 节点,每个节点运行独立的 API Server,通过负载均衡器(如 Nginx、HAProxy、云厂商 LB)对外提供统一入口。• 奇数节点部署:推荐 3 或 5 节点 etcd 集群,满足 Raft 算法的多数存活条件(quorum)。• VIP 配置:通过 Keepalived 实现虚拟 IP(VIP),自动切换故障节点。• 定期备份:使用 Velero 备份集群资源与持久卷数据,支持跨集群恢复。

Will_1130的博客 1537

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Agent 跨集群调度:推理流量在多 K8s 集群间动态迁移

Agent 跨集群调度的核心,是引入一个全局调度器,根据请求延迟容忍度将推理任务分配到不同集群。三层路由策略(实时→本地、交互→区域、批处理→全局)平衡了延迟和资源利用率。工程实现要点:通过集群健康探测维护全局状态、用 S3 做跨集群结果传递、TTL 自动清理推理 Pod 防止资源泄漏。跨集群的物理延迟是硬约束,调度器只能优化,不能消除。

2609_95049439的博客 2707

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Kubernetes使用集群联邦实现多集群管理

作者介绍:有容云系统工程师 吕龙。 Kubernetes使用集群联邦实现多集群管理 Kubernetes在1.3版本之后,增加了“集群联邦”Federation的功能。这个功能使企业能够快速有效的、低成本的跨区跨域、甚至在不同的云平台上运行集群。这个功能可以按照地理位置创建一个复制机制,将多个kubernetes集群进行复制,即使遇到某个区域连接中断或某个数据中心故障,也会保持

Kubernetes中文社区 1万+

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

大模型服务高可用架构设计(2025极限挑战):跨集群容灾的7个关键步骤

应对2025年大模型高可用挑战,本文详解大模型容器化部署2025下的跨集群容灾架构,涵盖金融、政务等关键场景,提炼7个核心实施步骤,实现服务不中断、数据强一致。架构设计清晰可靠,值得收藏。

SimTrans的博客 841

IBM Kubernetes Service跨区域集群及持久化存储方案(一)

最近刚完成IBM公有云上Kubernetes Service的测试,想分享一下企业如何使用IBM Kubernetes Service(IKS)部署高可用集群以及持久化存储。使用Kubernetes,如果创建高可用生产环境,通常会建在3个以上的高可用区域内,所以我们选用跨区域部署,而持久化存储也需要有跨区域部署的特性。我们先来看一下IKS集群以及对应存储的架构图。 可以看到IBM的持久化存储还是挺多的,单个区域的可以用NFS和块存储,跨区域的可以挂对象存储、企业级的Portworx,当然也可以用数据库

I艺术人生T的专栏 399
上一篇: kubernetes federation 工作机制之资源对象同步
下一篇: 名词解释:CronJob
hxpjava1
博客等级 码龄19年 1365粉丝 511原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值