最佳实践 | 基于腾讯云ES如何跨地域容灾?跨集群复制为您解忧!

Elasticsearch 多种跨机房灾备方案对比与实战解读 本文将会介绍几种 Elasticsearch 常见的灾备方案,同时提供了 Demo 案例方便大家动手体验。 方案 定期快照 跨机房部署集群 应用双写 借助消息队列实现双写 CCR 跨集群复制 极限网关 描述 定期将索引备份到外部存储,例如 S3,HDFS。备份的数据可以在备集 阅读详情

300ed859afdcd27439d1af784a15ffba.gif

作者:吴容,腾讯云大数据Elasticsearch高级开发工程师

腾讯云大数据ES目前已经提供了多可用区部署,即支持同地域跨机房的高可用容灾方案,满足了绝大多数客户的需求。但是依然会有部分客户希望进一步提升容灾级别,能够做到跨地域容灾。随着腾讯云ES双网卡功能的发布,使得跨地域容灾成为可能。接下来我将介绍下腾讯云ES实现跨地域容灾的详细步骤。

注:由于腾讯云ES集群之间的证书是不一致的,因此在搭建CCR环境之前,请先提工单让后端先将两个集群证书设置为一致。

一、对等连接

首先将北京和上海的两个vpc建立对等连接,如下图所示:

236563e4d38818d4307a49f63f1ac5c6.png

新建对等连接

注意:如果两个vpc的网段有冲突则不能建立对等连接。

fc9a2319e9f2e3a10048a47e1b1cfb00.png

对等连接建立成功

vpc之间建立好对等连接后需要配置下路由表。配置路由表:一定要在本端和对端都配置相关路由,才能通过对等连接通信,且需要绑定对应云服务器的子网。其中路由策略配置如下:路由表通过路由策略来实现流量走向控制,路由策略由目的端、下一跳类型和下一跳组成:

  • 目的端:目的端即为您要转发到的目标网段。目的网段描述仅支持网段格式,如果您希望目的端为单个 IP,可设置掩码为32(如172.16.1.1/32)。另外,目的端不能为路由表所在私有网络内的 IP 段,原因是 Local 路由已表示此私有网络内默认内网互通。

  • 下一跳类型:私有网络的数据包的出口。私有网络下一跳类型支持 “NAT 网关”、“对等连接”、“VPN网关”、“专线网关”、“云服务器”等类型。

  • 下一跳:指定具体跳转到的下一跳实例(使用下一跳 ID 标识),如私有网络内的某个具体 NAT 网关。在本地端(北京)新增目的端的路由策略。

3baa00e4aa9310613eeb81ea85a3ed53.png

配置路由表

在目的端(上海)同样执行上面的操作。对等连接建立好,且路由表配置完成后,我们进入到北京的云服务器中尝试连接上海的云服务器:从北京的cvm上ping 上海的cvm:

cff9b384af97e801d9c7ecdcc7361c02.png

测试网络连通性

二、搭建CCR

下面我们就分别在北京和上海使用对应的vpc购买两个ES集群。上海集群 es-a785wmve:

90491b3f029646e1524e847b4b09ee4c.png

上海测试集群

北京集群 es-ki42hwk9:

98559e2132276efdf0add711aa5831b3.png

北京测试集群

我们将北京的es集群作为Leader Cluster,把上海的es集群作为Follower Cluster。

1、设置Remote Cluster

登录到上海的kibana进行CCR的相关配置:将北京的ES集群设置为Remote Cluster:

4538e65f1e4acd3be95220cbd4248c41.png

创建远程集群信息

Connected表示已经连接上远端的es集群了:

a95f042078a2787931c28df12514b05a.png

远端集群设置成功

2、创建Follower Index

首先需要先在Leader Cluster即北京es集群中创建一个索引:

9cb03ddbbc8ae0801f23f7121d7ffae4.png

北京集群创建Leader索引

然后在上海的集群中继续创建Follower Index:

727892b4575d31b4979496b76766fad1.png

在Follower上海集群的kibana中进行如下配置:

df258b463dcedb68cd24b467a33d00b8.png

主要是配置刚刚设置的Remote Cluster的name,以及Leader Index和本地集群需要Follower的index。配置完成后得到如下的列表:

6eeb7243a56edf39ffe031255344aa77.png

然后查看索引管理,发现已经在上海的集群中创建了一个follower index:

f67634c278386f6c729b5911ca15d312.png

但是这时候索引里还没有任何数据,doc数量是0。下面我们就在北京的Leader集群中写入几条数据,再来看看上海的Follower集群是否能够同步到。

3、数据同步

首先我们在北京集群的kibana中写入如下几条数据:

5cfb7844b6933b524c0060db8bd31c8b.png

Leader Index写入数据

查看Leader北京的集群的index manager:

5c4a705e0124e872cc44c56d36ec5f0c.png

发现四条数据都写入了。目前的doc数量是4。

7993405d6a75cbdc538a6e9e75fc70cf.png

下面我们再去Follower上海集群的kibana上查看Index Manager。

f97c6535c50839113f9324de38687702.png

Follower Index自动同步数据

发现上海的Follower集群中的Follower索引wurong_sh_index也包含了4条doc数据。说明我们已经完成了跨地域跨集群的复制了。至此,我们完成了跨地域复制的数据同步。备注说明:由于是跨地域打通了网络,如果出现下面的Not connected状态,可能会出现网络不稳定的情况,会导致数据的复制有一定的延迟。

免费体验活动专区

Elasticsearch 新用户可享 2核4G,0元 体验 30 天!顺畅体验云上集群

Elasticsearch 跨集群复制的实现 跨集群复制,是发生在集群的索引级别,将一个集群的索引数据可以同步复制到另一个集群。有两种角色,Leader和Follower。其中Leader是数据的源头,Follower是数据的副本方。设置了跨集群复制,那么在Leader方索引发生了增删改等,在Follower方该对应索引数据都能得到及时体现,但是在Follower方是不可对该索引数据进行增删改操作的。下面通过两种方式实现跨集群复制,一种是在kibana中直接通过界面操作,一种是通过es接口实现,两种方式实现的效果是一样的。 测试环境 两个es集群, 阅读详情

相关推荐

企业容灾方案简述

容灾的目的:面对灾难时,业务如何做冗余来快速恢复业务。

m0_49265034的博客 2783

阿里云负载均衡理论

负载均衡即均衡负载,应对高访问量业务的情况且一台服务器不够用需要多台的情况,这里需要注意的是我们平常使用的虚拟机这里叫ECS主机实际上是一个概念,专业术语中的ECS实例即在ECS主机且在其中配置的服务,负载均衡还自带了高可用的功能即自动监听,消除单点故障。

a_b_e_l_的博客 2134

机械臂开发必备:KDL库正逆解与动力学实战指南

在机器人算法领域,运动学与动力学计算是机械臂控制、仿真与轨迹规划的核心基础。正运动学描述关节空间到笛卡尔空间的映射,逆运动学则需要求解复杂的非线性方程,工程实现时常面临数值稳定性与调试效率的挑战。KDL(Kinematics and Dynamics Library)作为ROS生态中广泛使用的开源库,提供了统一的模型描述与高效求解器,将正逆解、雅可比矩阵及动力学参数计算封装为简洁接口,大幅降低开发门槛。无论是机械臂的笛卡尔空间轨迹跟踪,还是基于动力学模型的前馈控制,KDL都展现出强大的工程价值。本文从运动学

weixin_33860528的博客 2509

轻松复制:Elasticsearch 中跨集群复制指南

跨集群的数据复制是一个复杂且耗时的过程。公司必须使用外部工具或编写自定义脚本将数据从一个集群移动到另一个集群。Elasticsearch 以其跨集群复制功能来救援。跨集群复制 (CCR) 是 Elasticsearch 中的一项内置功能,允许近乎实时地将数据从一个集群复制到另一个集群。它是一个强大的工具,使用户能够跨多个集群分发数据,提高数据弹性并实现跨地理区域的数据分析。让我们深入了解跨集群复制的世界并探索一些用例。

Elastic 中国社区官方博客 1800

数据结构:五岔路口交通管理红绿灯设计

我们可以知道这是一个“图”的着色问题,首先要考虑,为什么可行路线是13条?当然可以通过穷举得出,如果用公式:则是: 或者 因为一条路线必须包括一出一进两个方向 第一种答案的解法: 一、固定E为入口,则有C_4^1=4的可能; 二、除去E(因为E只有一个入向),剩下ABCD四个路口,然后因为C只有一个出方向,所以从剩下 的ABD中选择一个入口,即C_3^1; 三、再从剩下的三个出口任选

潘猫猫的世界 1万+

WangEditor 5.0版本dangerouslyInsertHtml方法的正确使用方式

WangEditor 5.0版本dangerouslyInsertHtml方法的正确使用方式

yang1067155909的专栏 4293

elasticsearch系列九:异地容灾-CCR跨集群复制

起初只在部分业务中采用es存储数据,在主中心搭建了个集群,随着es在我们系统中的地位越来越重要,数据也越来越多,针对它的安全性问题也越发重要,那如何对es做异地容灾呢?今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。

lvjingang的博客 2743

VisionPro实战:5个工业视觉检测案例详解(附代码片段)

本文详细解析了VisionPro在工业视觉检测中的5个实战案例,包括PCB焊点质量检测、汽车齿轮尺寸测量、药品包装缺陷检测等。通过硬件配置方案和软件算法流程的详细介绍,帮助工程师快速掌握VisionPro的应用技巧,提升工业自动化检测效率。

weixin_29284657的博客 524

数据容灾方案选取

数据容灾是指为了保护数据免受意外灾害、硬件故障、人为错误等导致的数据丢失或不可用而采取的措施。数据容灾的目标是确保数据的可用性、完整性和持久性,以便在发生灾难或故障时能够快速恢复数据并保持业务的连续性。

HXHX9527的博客 1347

Halcon工业相机开发全流程:从SDK配置到实时图像采集(C++版)

本文详细介绍了使用C++进行Halcon工业相机开发的完整流程,从SDK配置到实时图像采集的实现。涵盖环境搭建、设备初始化、回调机制、参数控制等关键环节,并提供异常处理和实战案例,帮助开发者快速掌握工业视觉系统的开发技巧。

weixin_33728268的博客 515

国产上位机软件突围:适配统信UOS/麒麟OS的跨平台开发技术与实践(2026年信创实战指南)

(航天科技集团CTO):“在信创战场上,1ms的延迟意味着1个卫星的控制失效。2026年,C#/.NET MAUI不是选择,而是我们守护卫星的‘生命线’。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 414

Elasticsearch跨集群复制(CCR)介绍

跨集群复制(CCR,cross-clusterreplication)属于xpack增强包中的功能,需要白金级、企业级证书才可使用。对于分布在不同地域的Elasticsearch集群,您可以通过CCR进行数据备份。当其中一个集群发生故障时,您可以通过访问其他集群来获取故障集群的数据,保证数据不丢失。例如A集团下有多个子公司,各子公司所分布的地域不同。为了提高业务处理速度,可按照地理位置划分子公司要承担的业务,并通过CCR将业务数据分发给各地域中的Elasticsearch集群。...

洒满阳光的午后的博客 3396

可维护的 SAP UI5 Theming 策略:从 CSS 级联与特性选择器到 UI Theme Designer 的工程化落地

摘要:SAP UI5主题化是一个涉及CSS级联、选择器特异性和主题参数的系统工程,与应用逻辑解耦以实现品牌化和无障碍适配。轻量级调整优先使用附加CSS,重大改动才考虑创建新主题。样式冲突需通过特异性原则解决,避免滥用!important。动态添加样式应使用addStyleClass而非直接操作DOM。主题可通过bootstrap参数、URL或运行时API设置,企业级主题推荐使用UI Theme Designer。自定义内容应消费主题变量以实现一致性,避免直接修改控件内部结构或内联样式。工程化落地需规范分层和

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 307

GaussDB跨云容灾:实现跨地域的数据库高可用能力

金融、银行业等对数据的安全有着较高的要求,同城容灾建设方案,在绝大多数场景下可以保证业务数据的安全性,但是在极端情况下,如遇不可抗力因素等,要保证数据的安全性,就需要采取跨地域的容灾方案。

Gauss松鼠会 2425

【OS】AUTOSAR OS系统调用产生Trap的过程详解

AUTOSAR OS系统调用产生Trap的过程详解

qq_36056498的博客 2445

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

用极限网关实现 ES 容灾,简单!

身为 IT 人士,大伙身边的各种系统肯定不少吧。系统虽多,但最最最重要的那套、那几套,大伙肯定是捧在手心,关怀备至。如此重要的系统,万一发生故障了且短期无法恢复,该如何保障业务持续运行?有过这方面思考或经验的同学,肯定脱口而出–切灾备啊。是的,接下来我来介绍下我们的 ES 灾备方案。当然如果你有更好的,请使用各种可用的渠道联系我们。通过将应用对主集群的写操作,复制到灾备集群。应用发送的读请求则直接转发到主集群,并将响应结果转发给应用。应用对网关无感知,访问方式与访问 ES 集群一样。

infinilabs的博客 321

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

Elasticsearch的跨集群搜索与复制

1.背景介绍 在大规模分布式系统中,Elasticsearch是一种高性能、可扩展的搜索引擎,它可以处理大量数据并提供快速、准确的搜索结果。在某些场景下,我们需要实现跨集群的搜索和复制功能,以提高搜索效率和数据一致性。本文将深入探讨Elasticsearch的跨集群搜索与复制技术,包括背景、核心概念、算法原理、最佳实践、应用场景和未来发展趋势。 1. 背景介绍 Elasticsearch是一...

AI天才研究院 1375

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Elasticsearch集群灾备方案:优快云架构师私藏的6层防护体系(附代码)

灾备方案需结合业务场景设计,建议每季度进行红蓝对抗演练。记住:真正的灾备能力体现在故障发生时的恢复速度,而非方案复杂度!在日均PB级数据量的生产环境中,Elasticsearch集群的灾备方案直接决定业务连续性。本文精选优快云技术社区中。某金融公司将快照频率从每小时调整为每15分钟,数据丢失量从12万条降至3万条。,涵盖快照、跨集群复制、双向同步等核心方案,附带可直接落地的配置模板。

shejizuopin的博客 649

ES是如何实现节点容灾的

ES是如何实现节点容灾的 1. ES中的index,首先会进行分片,每一个分片数据一般都会有自己的副本数据,ES分配分片的策略会保证同一个分片数据和自己的副本不会分配到同一个节点上 2. 当集群中的某一节点宕机后,ES的master在ping该节点时通过一定的策略会发现该节点不存活;此时,ES开启恢复过程,恢复的策略如下:     2.1.  恢复的目标是保证集群中分片的副本数不变    

fangletian1981的专栏 3814

ES节点类型、选举过程及容灾机制

一、节点类型 ES拥有非常完善的容灾机制,在了解容灾之前,我们要先知道ES中各个节点的类型。节点类型的设置可以在配置文件elasticsearch.yml中添加如下属性,只是写了常用的,还有很多类型可以设置,如:冷、暖、热、冻结、摄取节点等。 # 是否为候选节点 node.master: true # 是否为数据节点 node.data: true # 是否为投票节点 Node.voting_only = false 按照参数的组装,可以将节点分为如下类型: 1、...

zcm036200的博客 6273

ES高可用架构涉及常用功能整理

探讨es的系统架构以及以及整体常用的命令和系统分析,本文主要探讨高可用版本的es集群,并基于日常工作中的沉淀进行思考和整理。更多关于分布式系统的架构思考请参考文档[关于常见分布式组件高可用设计原理的理解和思考](https://blog.youkuaiyun.com/weixin_43845924/article/details/135713107)

李姓门徒 2039

腾讯云Elasticsearch集群多可用区容灾实现原理及最佳实践

导语 | 为了进一步满足腾讯云 Elasticsearch 客户对服务稳定性、集群高可用性等容灾能力的要求。腾讯云 ES 产品提供了跨可用区部署的解决方案,本文将为大家介绍实现原理与实践...

QcloudCommunity的博客 1226

Elasticsearch(CCR)主从同步之跨集群复制

注: 部分概念介绍来源于网络 1.跨集群复制Cross-cluster replication (CCR) 跨集群复制最早发布版本Elasticsearch 6.7 版本 跨集群复制 (CCR) 功能支持将特定索引从一个 ElasticSearch 集群复制到一个或多个 ElasticSearch 集群。 复制索引是只读的 索引可以由一个或多个 Elasticsearch 集群进行复制。每个复制索引的集群都维护一份索引的只读副本。能够接受写操作的主动索引称为领导者。索引的被动只读副本称为追随者。并不存在选

jsugs的博客 3328

Elasticsearch 主从同步之跨集群复制

1、什么是跨集群复制?跨集群复制(Cross-cluster replication,简称:CCR)指的是:索引数据从一个 Elasticsearch 集群复制到另一个 Elasticse...

铭毅天下Elasticsearch 8043

ES集群数据备份与迁移

言简意赅,本篇文章解决的问题是:当一个es集群中有数据,需要将数据迁移到另外一个es集群,或者是需要将es中的数据备份。 解决问题:repository_verification_exception

qq_53574266的博客 6254
上一篇: 业内首个基于Iceberg的“云端仓转湖”生产实践探索
下一篇: 打造次世代分析型数据库(八):高效数据导入导出方案
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值