E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战

15.集群知识(MySQL+Redis+ElasticSearch+RabbitMQ) 高可用:主机宕机对业务无影响。宕机原因:网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致,也称单点问题解决方案:【选主式(双主、raft选举)】重新创建主节点单点性能限制:当单点数据量过大导致性能降低,所以需要多台分担共同存储整个集群数据,并且做好互相备份保证即使单点故障,也能在其他节点找到数据解决方案:【分片式(分库分表)】数据备份容灾:单点故障后,存储的数据仍然可以在别的地方拉起解决方案:【主从复制】 阅读详情

前言

Elasticsearch在platinum版本中,推出了Cross Cluster Replication特性(以下简称CCR),也即跨集群远程复制。

该特性可以解决两类问题:

1,数据迁移;

2,异地备份。

本文以实战为主,基本概念及原理可参考官网文档。https://www.elastic.co/guide/en/elasticsearch/reference/current/xpack-ccr.html

基本架构

83357d303ce220623911460565abd9a1.png

图1.CCR结构

需要注意的点:

1、CCR是针对索引的主从复制,且复制动作是由从端发起的pull操作;

2、主端索引(即leader index)可以读写,从端索引(follower index)只读;

3、主端索引的属性 index.soft_deletes.enabled 必须为 true(具体原因可参考官方文档)

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-requirements.html#ccr-overview-soft-deletes

4、CCR功能需白金版license。

  实战

1、环境简介

腾讯云大数据 Elasticsearch 6.8.2 白金版 集群 * 2,下面简称为集群A(remote cluster)和集群B(local cluster)

13cdffd776c2c258707e88c45be012f3.png

图2.实战架构图

2、配置

1)配置远端集群数据源

在集群A上执行:

PUT test
{
  "settings": {
    "index.soft_deletes.enabled": true
  }
}

2)在远端集群查询节点transport_address

在集群A上执行:

GET _nodes
‍

结果如下,选取任意一个节点的 transport_address即可

e0c7f36dde672e8f6c82a9006d50dca6.png

图3.任意一个节点的transport_ip

3)在本地集群的Kibana上添加远端集群

3bada6a79d207791c29193d43f754777.png

图4.添加远端集群

6ad39400bbdbec839e78ddea1e367ccc.png

图5.添加远端集群

如上图,依次操作,在本地集群,也即集群B添加远端集群A。

需要注意,节点IP & PORT需要填写上一步获取到的transport_address。

4)在Kibana部署CCR

1864be829e4e4aac767e4a82ed5f94bd.png

图6.在Kibana部署CCR

bfb601d64d39b1c4cb829880c483db2a.png

图7.在Kibana部署CCR

81ccd76b592270ca9c2f4936581cca08.png

图8.在Kibana部署CCR

如上图,配置好CCR后,可以看到,CCR实例的状态会很快由Paused变为Active。

至此,已完成CCR的基本配置。

3、测试

我们可以使用如下方法测试上面配置的CCR是否生效。

1)在远端集群PUT文档

8c02ee8c832c923bb331a793d442fe35.png

图9.在远端集群创建索引

2)在本地集群GET对应索引

e5d88d5458b6051c99b911680fbdccc9.png

图10.在本地集群,查看索引内容

我们可以通过以上2步看到,远端集群的leader index索引test中的内容,已经通过CCR复制到了本地集群的follower index索引new中。

除创建以外,索引的变更、删除也都同上,此处不再赘述。

那么,我们如果在本地集群修改或删除follower索引,会如何呢?

112a726236e15808aaf38302058912fa.png

图11.修改follower index

为什么会出现无法写入的情况,请参考官方文档,如下图:

https://www.elastic.co/guide/en/elasticsearch/reference/current/ccr-overview.html

e5269a01b8b8c614a4b6616485bcb3e3.png

图12.follower index无法写入的原因

  总结

以上简单介绍了通过Kibana配置并使用Cross Cluster Replication的方法,实际仍然可以使用RESTFUL API完成所有上述操作,具体可以参考官方文档。有关CCR中,自动生成索引部分,这里也不再展开来讲。

CCR功能的提供,让集群间索引级别的数据复制变得简单。在实际商业应用中,往往是通过CCR将生产环境的数据复制到各个集群,供各业务部门分析使用,既能够满足数据分析需要,也避免了业务分析时因误操作修改了生产数据。

【信息科学与工程学】【数据中心】第三十五篇 云计算数据中心的学科知识04 编号学科(课程)核心知识点在云计算/云存储/云网络/云安全/云MaaS中的作用代表教材/资料/论文 + 数学方程式列表工业界应用D1421​云原生数据库:TiDB​HTAP(混合事务/分析处理)、分布式SQL、水平扩展、强一致(Raft)、自动故障恢复、与MySQL兼容、TiFlash列式引擎提供弹性扩展的分布式数据库;支撑高并发在线交易与实时分析教材:《TiDB in Action》PingCAP(2020) 论文:《TiDB: A Raft-based HTAP Database》(2017) 阅读详情

相关推荐

【信息科学与工程学】【数据科学】数据科学领域 第六篇 算法设计 07 堆、栈、表、矩阵、集合、队列、数组、字符串、树、图、动态规划、结构体、元组的算法01

当前段必须包含所有字符的最后出现位置。1. 字符串分割成最多片段2. 基因序列功能域划分3. 文本段落划分4. 音频声道分离5. 图像色彩分区6. 社交网络社群划分7. 蛋白质结构域8. 音乐乐章分段9. 代码模块划分10. 章节划分特征:一次扫描,贪心确定边界。

weixin_49199313的博客 1281

Elasticsearch 主从复制可靠性和性能相关参数配置

在Elasticsearch中,主从复制默认是同步的,这意味着数据写入主分片后,会立即复制到所有副本分片并在所有副本分片确认写入成功后才返回成功响应给客户端。不过,你可以通过一些配置来调整Elasticsearch的写操作行为,使其在一定程度上模拟异步复制,但这些配置并不能完全实现异步复制的功能。可以使得事务日志的持久化变为异步操作,从而提高写入性能,但这也意味着在节点故障时可能会丢失一些最近的写入操作。:在生产环境中使用这些配置时,需要加强监控和异常处理,确保在出现问题时能够及时恢复数据。

zfj321的博客 562

【信息科学与工程学】【数据科学】第五十一篇 数据仓库10 数据仓库的机制和特性02

将“数据仓库”作为一个工程系统而非单一产品来说明书式呈现。表中涉及的具体厂商版本为2025-2026 年公开资料中的代表性版本,落地时需以目标产品当前 Release Notes 为准。学科/知识域代表产品(厂商+版本)架构范式云原生数仓(存算分离)Snowflake(多集群共享存储);阿里云 AnalyticDB(2026-03 更新);华为云 DWS(2026-02 更新,存算一体/分离可选)存算分离 + 多 Virtual Warehouse开源 MPP / 实时 OLAPClickHouse v24

weixin_49199313的博客 45

Elasticsearch的复制功能

Elasticsearch的复制功能确保了数据的高可用性和耐久性。当一个节点临时下线,其上承载的主分片(primary shards)将不可用。但是,副本分片(replica shards)会继续提供服务。当节点重新上线时,它会向Elasticsearch集群发送心跳信号,表明自己已经恢复。Elasticsearch集群会检测到节点重新上线,并将该节点的状态更新为“存活”。集群会重新评估分片分配,决定是否需要将分片重新分配给重新上线的节点。这取决于集群设置和分片分配 Awareness 属性。

喝醉酒的小白 1252

ElasticSearch8升级变化

Elasticsearch 8.0 中的以下更改可能会影响您的应用程序并阻止它们正常运行。在升级到 8.0 之前,请查看这些更改并采取所述步骤来减轻影响。

公众号:AI前沿侦探 1710

CV领域交叉注意力机制:QKV在图像特征增强中的核心作用解析

本文深入解析了CV领域中交叉注意力机制的核心组件QKV在图像特征增强中的关键作用。通过通俗类比和实战案例,阐述了Q(查询)、K(键)、V(值)如何协同实现动态权重分配,从而在目标检测、图像分割与生成等任务中显著提升模型性能与语义对齐能力。

weixin_29194817的博客 447

Elasticsearch:跨集群复制 Cross-cluster replication(CCR)

跨集群复制(CCR)功能支持将远程集群中的索引复制到本地集群。可以在一些常见的生产用例中使用此功能: 灾难恢复(DR)/高可用性(HA):如果主群集发生故障,则进行灾难恢复。 辅助群集可以用作热备份 地理位置优越:在Elasticsearch中复制数据以更接近用户或应用程序服务器,从而减少延迟。可以在本地提供阅读服务 集中报告:将数据从大量较小的集群复制回集中式报告集群 请注意:CCR 是...

Elastic 中国社区官方博客 8673

Springer期刊LaTeX模板中参考文献格式选择与编译错误的快速修复指南

本文针对Springer期刊LaTeX模板中参考文献编译后显示问号的常见问题,提供了快速修复指南。核心在于正确选择并配置与期刊匹配的参考文献格式文件(.bst),并执行标准的四步编译流程。文章详细解释了问题根源,并给出了从查找正确.bst文件到修改代码、执行编译的完整解决方案,帮助作者高效解决投稿中的技术障碍。

weixin_29266007的博客 405

【教程】最简单的Claude Code Router(ccr)配置教程,低成本使用claude code

aff=yDF4简单方便,快速使用,可以使用claude4模型,适合小白体验,或者有一定付费意愿的用户。免费额度低,大量使用需要付费。Sealos官方介绍说是新一代云操作系统,实际使用过程中我把它当一个简单的docker服务器来部署一些docker服务,界面简单操作方便,适合新手,老羊毛党肯定知道爪子云,算是国外fork的Sealos版本吧。GPT-Load一个高性能、企业级的 AI 接口透明代理服务,专门为需要集成多种 AI 服务的企业和开发者设计。

weixin_44883532的博客 9101

SolidWorks草图绘制实战:如何用图片参考快速搞定智能小车底板设计

本文详细介绍了在SolidWorks中利用图片参考进行草图绘制的实战方法,以智能小车底板设计为例,帮助设计师快速将概念转化为精准三维模型。通过插入、对齐参考图片并高效描图,结合参数化约束与尺寸驱动,大幅提升设计效率和准确性,尤其适合新手入门与老手优化工作流。

rust6ferris的博客 220

微弱电流检测放大器PCB布线布局设计

微弱电流检测放大器PCB布线布局设计的注意事项,保护环的概念和相关设计。

ydgd118的博客 1万+

Elastic:开发者上手指南

你们好,我是Elastic的刘晓国。如果大家想开始学习Elastic的话,那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里,我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习: 1)Elasticsearch简介:对Elasticsearch做了一个简单的介绍 2)Elasticsearch中的一些重要概念:cluster,n..........................................................

Elastic 中国社区官方博客 17万+

YOLO26涨点改进 | 独家创新,特征融合改进篇 | TGRS 2025 | 引入FFM特征融合模块,实现特征的全局交互与融合,含多种组合创新改进,适合小目标检测、助力YOLO26有效涨点

本文提出了一种改进YOLO26目标检测模型的FFM模块,该模块通过跨模态注意力机制实现全局特征融合,显著提升模型对小目标、密集目标和复杂场景的检测性能。FFM采用多头跨注意力机制建模不同模态间的复杂关系,同时引入可调节下采样率降低计算复杂度。实验表明,在WHU-OPT-SAR等数据集上,FFM模块使mIoU提升0.75%,OA提升0.32%。文章详细介绍了FFM的结构原理、核心代码实现,并提供了两种改进YOLO26的yaml配置文件方案,包括FFM单独使用以及与FCM模块的组合方案。

Ai缝合怪、助力小伙伴高效发论文 195

Elastic Stack学习之——Elasticsearch(二)

5. 索引模块

baidu_41566983的博客 925

Fiori Elements 从入门到精通开发教程的文章目录

Fiori Elements 开发技术相对 SAP 其他历史悠久,发展成熟的开发技术来说,是一个新事物。正因如此,迄今为止国内深入讲解 Fiori Elements 应用的中文材料几乎没有。

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 4895

【AI智能体】基于Coze 制作高质量PPT实战操作详解

基于Coze 制作高质量PPT实战操作详解

congge 6107

Elasticsearch 主从复制部署记录

Elasticsearch 主从复制部署记录 本部署记录是在三台虚拟机的环境下搭建 Elasticsearch 主从复制集群, 默认三台虚拟机中已经存在正常运行的Elasticserch 实例, 如不满足条件则参考上一篇:《 03_Elasticsearch 主从复制部署记录 》 主从复制概念 设想有三台服务器,由其中一台服务器中的 Elasticserch 实例保存数据,我们称其为主节点, 其余的两台中的 Elasticserch 实例负责从主节点同步数据,我们称其为随从节点 当主节点出现故障,又两

繁星 2220

YOLO11全网首发:CVPR2026 MixerCSeg | DEGConv方向引导边缘门控,破解细长裂缝检测难题

DEGConv通过方向先验嵌入、边缘增强卷积和动态门控三大机制,针对性解决了YOLO在处理裂缝类细长、多方向、低对比度目标时的特征提取不足问题,显著提升了裂缝检测的精度与鲁棒性。

①答疑群聊服务;②YOLO大模型知识问答系统;③计算机视觉论文生成智能体; 566

Elasticsearch Replicas 深入解析

在构建大规模的搜索引擎系统中,数据的安全性和查询的稳定性是至关重要的。假设我们正在开发一个面向全球用户的在线搜索引擎,用户可以通过这个平台快速检索到各种信息。在这样的场景下,如果某个节点因为硬件故障或网络问题导致数据丢失,那么将直接影响到用户的查询体验,甚至可能造成严重的业务损失。为了解决这一问题,Elasticsearch 引入了 Replicas(副本)的概念。Elasticsearch 的 Replicas 知识点之所以重要,是因为它直接关系到数据的高可用性和系统的稳定性。

我是Java程序员廖志伟,感谢朋友们的支持!不定期贡献一篇高品质、过万文字、图文并茂且附有视频解说、满载代码示例注释的良心之作,坚决杜绝粗制乱造。 765

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

【分布式组件】全网最简单的ElasticSearch入门指引

Elasticsearch 是一个分布式的、RESTful 风格的搜索和分析引擎,基于Lucene构建。它能够存储、搜索和分析海量数据,并且提供了强大的全文搜索能力。Elasticsearch 广泛应用于日志分析、实时监控、全文搜索等领域。Elasticsearch 是一个功能强大且高度可扩展的搜索和分析引擎,它提供了实时搜索、分布式存储和丰富的查询语言等功能。通过 Elasticsearch,可以轻松地构建高性能的应用程序和服务,特别是在需要处理大量数据和实时查询的场景下。

wendao76的专栏 2654

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

提供写入的数据少于指定的数据_elastic 数据预处理、修复与增强写入的数据

设想一下这么一个需求:后期需要对Tags做aggs统计,tags文本中,逗号分隔的文本应该是一个数组,而不是字符串在es中可以通过ingest node实现这个需求Ingest Node(预处理节点)是ES用于功能上命名的一种节点类型,可以通过在elasticsearch.xml进行如下配置来标识出集群中的某个节点是否是Ingest Node.在es 5.0引入的一种新的节点类型,默认配置下每个节...

weixin_39555179的博客 507

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

Elasticsearch创建一个索引怎么也这么复杂

ES(8.1)认证考题大纲参考如下 https://mp.weixin.qq.com/s/x7lMmMAo2563JysMJ8vgRQ今天是我们学习ES8.1官方搜索工程师的第一课,首先第一个问题就是根据给定的需求创建一个索引,本篇文章将采用如下(总分总)的形式分析该题目,第一部分先进行考题的分析,猜测要考的知识点大概有什么,然后第二部分对该题目涉及的知识点进行分析讲解,每一个考点后都跟着简单的解读,最后模拟汇总该考题,最终实现熟练掌握该题目。后续本类型文章如不特殊说明均使用该种方式进行讲解,如果有好的建议

醉鱼的博客 1109

ElasticSearch备考 -- Cross cluster replication(CCR)

CCR 可以对标mysql 理解为为主从。主节点负责写入数据,从/备节点负责同步时主节点的数据。CCR 特性是否付费功能,可以开启试用license 30天体验CCR 必须开启 Xpack从集群配置角色 remote_cluster_client参考资料送一波福利:福利一有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!有需要内推JD的同学,可以私信或留言,我帮您内推,流程快!!!福利二福利三。

麦田守望者 1672

Elaticsearch软删除

原文 https://www.elastic.co/guide/en/elasticsearch/reference/7.x/index-modules-history-retention.html index.soft_deletes.enabled

kamactor的专栏 736

elasticsearch系列九:异地容灾-CCR跨集群复制

起初只在部分业务中采用es存储数据,在主中心搭建了个集群,随着es在我们系统中的地位越来越重要,数据也越来越多,针对它的安全性问题也越发重要,那如何对es做异地容灾呢?今天咱们就一起看下官方提供的解决方案cross-cluster replication(简称ccr)。

lvjingang的博客 2743

Elasticsearch 8.0 索引设置变更详解

在Elasticsearch 8.0中,直接访问系统索引的方式已被标记为废弃。系统索引是Elasticsearch内部用于存储系统级数据的特殊索引,如监控数据、安全配置等。 **技术细节**: - 直接访问系统索引会在API响应头中产生警告信息 - 未来版本可能会完全禁止直接访问 - 建议通过Kibana或相关功能的专用API来管理系统索引数据 **解决方案**: 如需访问系统索引,必须创建具...

gitblog_00907的博客 354
上一篇: 搜狐智能媒体基于腾讯云大数据 EMR 的降本增效之路
下一篇: E往无前 | get正确使用姿势!腾讯云大数据ES日志场景优化案例回顾
腾讯云大数据
博客等级 码龄6年 348粉丝 219原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值