备份Elasticsearch的数据

es数据备份和迁移Elasticsearch es数据备份和迁移 阅读详情

其实某种意义上Elasticsearch也可以认为是一种noSQL数据库,我们的产品把他作为日志存储使用,于是自然而然就有了备份的需求。

微笑21世纪还有公司这么玩,我也是醉了。


备份:

curl -X PUT "http://127.0.0.1:9200/_snapshot/log_backup" -d '{"type":"fs","settings":{"location":"/tmp/logb/"}}'
curl -X DELETE "http://127.0.0.1:9200/_snapshot/log_backup/back1"
curl -X PUT "http://127.0.0.1:9200/_snapshot/log_backup/back1?wait_for_completion=true" -d '{"indices":"runlog","ignore_unavailable":"true"}'

  • 第一句:建立一个备份
  • 第二句:删掉现有的备份,其实这一步是可选的,但是这是个自动化的脚本,所以在备份之前,就把之前的备份无条件删掉了
  • 第三句:执行备份,备份index为runlog


恢复:

curl -X PUT "http://127.0.0.1:9200/_snapshot/itemlog_backup" -d '{"type":"fs","settings":{"location":"/tmp/logb/"}}'
curl -X POST "http://127.0.0.1:9200/runlog/_close"
curl -X POST "http://127.0.0.1:9200/_snapshot/log_backup/back1/_restore" -d '{"indices":"runlog"}'
curl -X POST "http://127.0.0.1:9200/runlog/_open"

  • 第一句:建立一个备份,其实这一步应该也是可选的,只是为了防止备份不存在导致报错
  • 第二句:关掉索引
  • 第三局:执行恢复
  • 第四句:开启索引


如果不执行_close和_open,则会报如下错误:

{
    "error": "SnapshotRestoreException[[log_backup:back1] cannot restore index [runlog] because it's open]",
    "status": 500
}


使用ElasticSearch-dump工具进行ES数据迁移、备份 elasticsearch-dump用于更加快捷方便的将Elasticsearch不同集群的数据进行索引备份和还原。 阅读详情

相关推荐

【Elasticsearch数据备份】

备份ES数据

yingbo_313的博客 2140

官方文档-恢复快照

对应8.0官方文档路径:Snapshot and restore » Restore a snapshot 官方地址如下: https://www.elastic.co/guide/en/elasticsearch/reference/8.0/snapshots-restore-snapshot.html 恢复快照 本章节主要展示如何恢复一个快照。快照是在集群外部存储数据备份最便捷的方式,你可以在删除或硬件故障后通过快照恢复索引和数据流,你还可以使用快照在集群之间传输数据。 在本章节,你将学会以下

qq_16164711的博客 1613

es备份数据

备份ES数据的步骤: 1.创建共享目录: 何为共享仓库,其实就是集群中各个节点都能感知到并将数据写入到该仓库的文件。一般一个节点部署在一个服务器上,在哪里,怎样创建一个文件让各个节点都能往里面写数据呢? 使用sshfs在ES集群中每个节点的相同位置挂载一个共享目录。 // 在每个节点上安装sshfs sudo apt-get install sshfs // 选定一个节点的一个目录作为共享目录 mkdir /data/backup chmod -R 777 /data // 在每个节点的相同位置创建目录

m0_46554599的博客 4521

ElasticSearch快照方式备份恢复数据库

要备份你的集群,你可以使用snapshotAPI。这个会拿到你集群里当前的状态和数据然后保存到一个共享仓库里。这个备份过程是"智能"的。你的第一个快照会是一个数据的完整拷贝,但是所有后续的快照会保留的是已存快照和新数据之间的差异。随着你不时的对数据进行快照,备份也在增量的添加和删除。这意味着后续备份会相当快速,因为它们只传输很小的数据量。 要使用这个功能,你必须首先创建一个保存数据的仓库。有...

雅冰石的专栏 1967

嵌入式开发:用状态机实现STM32按键消抖,告别阻塞延时

在嵌入式系统开发中,处理异步事件和实时响应是核心挑战。状态机作为一种强大的编程模型,通过定义有限的状态、事件和状态转换规则,将复杂的、非线性的控制逻辑转化为清晰、确定且易于维护的代码结构。其技术价值在于实现逻辑的模块化、异步化和非阻塞化,能显著提升代码的可读性、可扩展性和系统实时性。这一思想广泛应用于协议解析、用户界面交互、传感器数据处理等场景。本文以嵌入式开发中基础的按键处理为例,针对传统“延时消抖”方法会阻塞主循环、影响实时性的痛点,深入讲解如何运用状态机思维重构按键消抖逻辑。通过分析状态机的核心三要素

weixin_33377602的博客 339

全面讲解电子齿轮比与脉冲数计算

什么是编码器分辨率。

viixin的博客 1万+

ElasticSearch数据备份与恢复

ES备份快照的时候可以用NFS或者HDFS。NFS有点麻烦,我们使用HDFS。 1.安装hdfs插件(如果已安装,则忽略这一步): bin/elasticsearch-plugin install repository-hdfs 注意下载后会提示是否安装,一定要输入 y,否则视为取消安装。 安装完之后要重启ES集群. 2.源集群创建仓库: curl -X...

weixin_33862041的博客 338

准静态电磁场

叠加法 缺点:对于连续分布的电荷,叠加法的计算比较困难 虚位移法 概念 广义坐标:确实系统中导体形状、尺寸与位置的一组独立几何量。 广义力:企图改变某一广义坐标的力。 功:广义力乘上由它引起的广义坐标的改变量。 公式 ...

qq_35912930的博客 1860

ElasticSearch 数据备份与恢复

ElasticSearch 数据备份与恢复 Snapshot Restore Logstash elasticsearch-dump kettle datax flink

c_zyer的博客 2314

Github多人协作

最近有门课程需要几个人一起开发一个项目,此前我们基本都是单干的,多人合作意味着需要及时将我们每个人的代码进行合并,U盘传文件这种方式太慢了,效率不行,而且没法解决两个人同时修改一个文件的问题,这次我们就尝试使用Github来协助开发。下面就来记录一下这次开发遇到的一些问题和解决的方法。 Git的安装 从官网下载最新版按照默认安装即可。 此处不多加说明。 Git常用命令 在此放上一...

yzr1216的博客 1万+

基于8086微机原理数字钟计时器系统设计

*单片机设计介绍,基于8086微机原理数字钟计时器系统设计。

2201_75940997的博客 1281

边学边实战系列(十一):ElasticSearch 数据备份与迁移

点关注公众号,回复“1024”获取2TB学习资源!前面介绍了索引文档与读取文档流程、集群部署与故障转移、集群规划与运维、分片/副本与数据操作流程等相关的知识点。今天我将详细的为大家介绍 ElasticSearch 数据备份和迁移相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!Elasticsearch 默认配置是数据持久化的,就是 ES 会定时地把缓存数据刷新到硬盘,从而...

民工哥的博客 8571

Android Telephony主要模块及功能

Telephony的代码主要由五个模块组成 1.Telephony Frameworks 代码区域: frameworks/opt/telephony/ 其中主要的文件在如下目录 /frameworks/opt/telephony/src/java/com/android/internal/telephony/ 其中比较常见的有以下几类文件 1.BaseCommands、RIL构成R

泊客 7723

【es】elasticsearch生产数据备份和恢复方案

一、前言概要 生产环境中运行的组件,只要有数据存储,定时备份、灾难恢复是必修课,MySQL数据库的备份方案已经非常成熟,elasticsearch也同样有成熟的数据备份、恢复方案,我们来了解一下。 本篇介绍Elasticsearch生产集群数据的数据备份、恢复和升级的常规操作。 二、数据备份 我们知道Elasticsearch的索引拆分成多个shard进行存储在磁盘里,shard虽然分了primary shard和replica shard,可以保证集群的数据不丢失,数据访问不间断,但如果机

michaelwoshi的博客 3048

YOLOv8 智能交通流量监测完整解决方案

YOLOv8智能交通流量监测系统基于先进的目标检测技术,提供实时车辆识别与统计分析功能。该系统通过虚拟检测线实现多方向车流量统计,支持多种车辆类型分类,并具备数据可视化、异常事件预警等核心功能。完整解决方案包含模型训练、实时检测、批量处理、结果分析等模块,并提供Flask API和Docker两种部署方案。系统采用YOLOv8算法实现高效检测,支持GPU加速,可通过量化、剪枝等技术进一步优化性能,为智能交通管理提供可靠的数据支持和技术保障。

u010117029的博客 118

【华为OD机试真题 新系统】1029、字符串处理 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS)

【华为OD机试真题 新系统】1029、字符串处理 | 机试真题+思路参考+代码解析(C++、Java、Py、C语言、JS) 华为od机试,华为od机试真题,华为od机试E卷,华为odE卷,华为od机试真题E卷,华为OD,华为OD机试,华为OD机试真题,华为od机考,华为od机试D卷,华为od机试真题D卷,华为od手撕代码,华为od,华为od机试C卷,华为od e卷,华为2026e卷,od机试,2026E卷,华为OD机试E卷,什么是华为od,华为od介绍,全面了解华为od,2026华为od,如何备战华为od,

KJ.JK 218

es数据迁移_Elasticsearch数据备份说明

假设ES集群有三个节点:192.168.1.10192.168.1.11192.168.1.121. 创建共享目录在三个节点上创建共享目录/mnt/backup/,使三个节点的es用户都可以读写该目录。(推荐使用nfs创建共享目录)2. 修改ES配置在elasticsearch.yml中加入一行:path.repo: /mnt/backup/修改后重启es集群。3. 创建备份仓库curl -XPU...

weixin_39636057的博客 1196

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Elasticsearch定时备份索引数据与恢复

定时备份脚本 Linux定时任务功能使用cron服务来进行 编写定时任务的cron表达式 crontab -e #进入cron定时任务编辑 定时任务 */1 * * * * /opt/scheduler/es_bk.sh >> /opt/scheduler/bk_log.txt 2>&1 每隔1分钟定时执行 /opt/scheduler/目录下的es_bk.sh脚本,将数据内容写入到 /opt/scheduler目录下的bk.log.txt文件中 查看一下es_bk.

qq_43750656的博客 1686

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

ES数据备份

从两个完全隔离的网络中,将es1中的部分索引数据复制到es2中 使用快照方式

墨咖 350

elasticsearch数据备份迁移之snapshot

1、快照简介 ES提供快照和恢复功能,我们可以在远程文件系统仓库(比如共享文件系统、S3、HDFS等)中单独给部分索引或者整个集群创建快照。这些快照对备份非常有用,它们能相对较快地被恢复。其优点如下: 迁移速度快,适用数据量大的场景; 需占用源集群磁盘空间,或者借助于对象存储,实现友商ES到腾讯云ES,或自建ES到腾讯云ES的数据迁移; 存储类型有共享文件系统、AWS 的 S3存储、HDFS、微软 Azure的存储、Google Cloud 的存储。 2、原es集群环境 系统版本 jdk版本 ES

最美dee时光的博客 2138

Elasticsearch数据备份与恢复

本文介绍了Elasticsearch使用快照与恢复机制进行数据备份与恢复的方法。主要内容包括:1)配置备份目录并创建存储库;2)创建包含指定索引的集群快照;3)在新集群中恢复数据,包括同步备份文件和执行恢复操作;4)扩展命令如查看节点信息、删除存储库等。该方案支持手动或自动周期性备份,适用于ES集群的数据保护需求。

weixin_49235157的博客 921

elasticsearch数据备份、还原(elasticdump)

1.ElasticSearch的数据导入导出工具-ElasticDump,安装及使用 在linux上 安装,步骤如下: 1.yum install epel-release 2.yum install nodejs 3.yum install nodejs npm yum update openssl -y 4.npm install elasticdump cd node_mo...

GUY_GO的博客 3087

windows环境下ES安装, 数据备份

备份数据之前,要创建一个仓库来保存数据,仓库的类型支持Shared filesystem, Amazon S3, HDFS和Azure Cloud。然后我们来创建一个叫es_backup 的备份,存放在本地的D:/elasticsearch-6.2.2/backups/es_backup目录下。一个仓库可以包含多个快照(snapshots),快照可以存所有的索引,部分索引或者一个单独的索引。在配置文件中增加path.repo配置备份目录,重新启动ES。数据恢复前,请先关闭要恢复的索引,在执行恢复操作。

TM_soul的博客 1257

使用elasticsearch-dump工具备份ES数据库

如果需要设置定时任务,需要使用使用elasticsearch-dump编译的二进制文件,需要nodejs、npm环境。备份工具 elasticsearch-dump (docker 版)备份时需要注意es数据库端口9200防火墙开放情况。需要备份data和mapping数据。备份data和mapping数据。导入data和mapping数据。

qq_44534541的博客 917

Elasticsearch备份数据到本地,并导入到新的服务 es 服务中

登录阿里云个人账号,搜索容器镜像服务,获取加速地址,替换掉我的就好了。如果 docker 访问不了,就需要修改镜像源。安装elasticsearch-dump。进入 docker 镜像中。这个工具备份时间比较长。

雪花凌落的盛夏 1171

elasticsearch索引数据备份与恢复

配置完成后需重启es服务。

无为萌新 955
上一篇: hostname设置不对,导致logback出错从而spring起不来的问题
下一篇: 设置X-Frame参数防止页面被Frame
相羽六
博客等级 码龄15年 5粉丝 82原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值