ES跨集群数据迁移方案

最新推荐文章于 2025-10-21 17:05:41 发布

原创

最新推荐文章于 2025-10-21 17:05:41 发布 · 1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据 #linux

本文介绍了在测试环境与生产环境网络不通的情况下，如何利用Elasticsearch的snapshot API结合共享文件系统进行数据迁移。详细步骤包括在测试环境创建快照，压缩并拷贝到开发环境，然后在开发环境中恢复快照数据。

需求背景

测试环境 ES集群需要同步数据到生产环境ES集群。
且测试环境和生产环境网络不通。

迁移方案

通过ES snapshot api 物理文件共享实现数据迁移

测试环境（数据源）

1、注册共享文件系统仓库

修改elasticsearch.yml配置

##添加共享目录
path.repo: ["/data/share"]
##重启所有节点服务
$ service elasticsearch restart

注册快照仓库

$ curl -XPUT "localhost:9200/_snapshot/my_backup" -H 'Content-Type: application/json' -d
'{
  "type": "fs",
  "settings": {
    "location": "snap_b

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

黑武士1024

关注关注

1
点赞
踩
5

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ES跨集群数据迁移

qq_38523789的博客

11-19

1023

ES跨集群数据迁移 一、ES备份主要有以下几种方法，以下以hdfs为例 1、fs 文件挂载 2、url 网络协议存储 (http,https,ftp) 3、s3 亚马逊 4、hdfs 5、azure 微软 6、gcs 谷歌二、以hdfs方式迁移主要涉及到的概念 1.repository(仓库) es集群中,想要备份数据,必须创建仓库,用来存储快照,一个集群可以创建多个仓库 2.snapshot (快照) 创建仓库后,我们可以创建快照,创建快照时必须指定一个仓库,需要依附某个仓库某个快照包含多个index

elasticsearch 跨集群迁移好用方案之一

weixin_38424594的博客

02-01

1013

elasticsearch 跨集群 迁移数据好用方案之一

1 条评论您还未登录，请先登录后发表或查看评论

1 条评论

大白熊就是萌 2022.04.14
好文章[face]emoji:062.png[/face]

es数据迁移

最新发布

changxiaoshu2025的博客

10-21

1128

源集群配置：修改elasticsearch.yml，添加共享存储路径：path.repo: ["/usr/share/elasticsearch/data/snapshot_cache"] # 多个路径用逗号分隔。

Elasticsearch 数据迁移方案

一个人的人生

06-24

2957

倘若准备将自建的 elasticsearch 迁移K8s，或者的迁移到其他elasticsearch集群，可以根据自己的业务需要选择适当的迁移方案，

ES8生产实践——ES跨集群数据迁移方案测评

qq_33816243的博客

03-20

4367

方案esmreindexlogstashsnapshot基本原理逻辑备份，类似mysqldump将数据一条一条导出后再执行导入ESM 是 medcl 开源的派生自：Elasticsearch Dumper 的工具，基于 go 语言开发。reindex 是 Elasticsearch 提供的一个 API 接口，可以把数据从一个集群迁移到另外一个集群从一个集群中读取数据然后写入到另一个集群从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复网络要求无网络互通要求。

ES集群数据备份与迁移

qq_53574266的博客

05-05

6127

言简意赅，本篇文章解决的问题是：当一个es集群中有数据，需要将数据迁移到另外一个es集群，或者是需要将es中的数据备份。解决问题：repository_verification_exception

Elasticsearch 跨集群数据迁移方案总结

cr7258的博客

03-18

2658

方案对比方案 elasticsearch-dump reindex snapshot logstash 基本原理逻辑备份，类似mysqldump将数据一条一条导出后再执行导入 reindex 是 Elasticsearch 提供的一个 API 接口，可以把数据从一个集群迁移到另外一个集群从源集群通过Snapshot API 创建数据快照，然后在目标集群中进行恢复从一个集群中读取数据然后写入到另一个集群网络要求集群间互导需要网络互通，先导出文件再通过文件导入集群则不需要网络互通

Elasticsearch跨集群数据迁移方案+代码操作

shichengcheng_scc的博客

12-16

926

主流的ES迁移有三套方案 1、logstash数据同步 2、ES dump 3、ES snapshot迁移 1、logstash数据同步 1. 指定索引index全量迁移配置文档：当目标端数据已经存在，无论数据是否变更，均执行更新覆盖，目标数据不存在则新建。 input { elasticsearch { hosts => [“120.92.155.44:9200”] index => “map” docinfo => true } } output { elasticsearch {

Elasticsearch:跨集群数据迁移之离线迁移

李玉坤的博客

12-13

3473

文章目录跨集群数据迁移离线迁移elasticsearch-dumpsnapshotreindexlogstash总结 跨集群数据迁移 用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群，如果要迁移至腾讯云ES，用户可以根据自己的业务需要选择适合自己的迁移方案。如果业务可以停服或者可以暂停写操作，可以参考离线迁移的四种方案。离线迁移离线迁移需要先停止老集群的写操作，将数据迁移完毕后在新集...

两种比较好的ES集群迁移数据的方法

yumin841931783的博客

11-15

1万+

文章目录O、简介一、使用elasticdump工具迁移0.安装nodejs（如果已安装请忽略）1.升级nodejs2.安装elasticdump工具3.迁移指定索引的settings，mapping，data二、利用ES自带快照备份到文件存储进行迁移0.源ES集群指定共享文件夹1.源ES集群中创建repository2.创建快照（快照备份数据）3.移动源ES集群snapshot至目标ES集群的仓库...

elasticsearch 小规模数据 跨集群迁移

sslfk的博客

03-23

1806

迁移方法1，通过代码迁移，优点不需要改动任何集群配置和重启器群： from elasticsearch import Elasticsearch from elasticsearch import helpers def get_all_data(table, query_dsl,scroll='5m',timeout='1m'): es = Elasticsearch([{'host': "IP", 'port': PORT, "http_auth": "user:passwd"}])

es数据跨集群的两种迁移方式

weixin_40368523的博客

05-11

3944

少量数据迁移使用elasticdump 安装npm，然后安装elasticdump npm install elasticdump -g 以下是分了三个步骤进行，第一条命令先将索引的settings先迁移，如果直接迁移mapping或者data将失去原有集群中索引的配置信息如分片数量和副本数量等，当然也可以直接在目标集群中将索引创建完毕后再同步mapping与data。 # -*- coding:utf-8-*- from elasticsearch import Elasticsearch impor

ElasticSearch集群迁移和升级总结

varyall的专栏

05-18

8418

ElasticSearch（后面简称ES）是一个基于Lucene的实时搜索服务器，广泛用于帮助网站的搜索解决方案。本文主要是分享了此次对ES集群的迁移和升级的一些经验和步骤，希望对以后又类似迁移和升级的提供一些经验和帮助。背景因为ES所在机器，有会大量占用cpu和内存的软件，导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。迁移方法我们使用的ES版本是2.3.3，现在已经更新到了5...

ElasticSearch数据迁移方法介绍