使用elasticdump实现es数据导入导出示例（持续更新中）

原创

已于 2023-03-27 18:01:43 修改 · 4.6k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #大数据 #搜索引擎

于 2023-03-27 13:58:11 首次发布

Elasticdump是一个命令行工具，用于Elasticsearch与JSON文件之间的数据迁移。用户可以通过npm安装，然后使用不同命令进行索引的映射和数据导出或导入。multielasticdump则支持并行备份多个索引。导出和导入过程中，可以调整参数如scrollTime、limit等以优化性能。

Elasticdump是一个命令行工具，可用于将数据从Elasticsearch导出到JSON文件，以及将JSON文件导入到Elasticsearch中。以下是一个简单的示例，演示如何使用Elasticdump实现数据导入导出：

1.安装Elasticdump

您可以使用npm命令在命令行中安装Elasticdump。（npm请自行安装。）例如，使用以下命令安装最新版本：

npm install elasticdump -g

进入到bin目录

cd /opt/module/node16/lib/node_modules/elasticdump/bin

可以看到有两个命令，elasticdump用来备份单个索引，multielasticdump可以用来并行备份多个索引

-rwxr-xr-x. 1 1001 1001  4026 4月   9 14:38 elasticdump
-rwxr-xr-x. 1 1001 1001 14598 10月 26 1985 multielasticdump

2.导出数据

要导出数据，请使用以下命令：

elasticdump \
  --input=http://192.168.2.227:9200/es_table_index \
  --out

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我是刘望舒

关注关注

2
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

【ElasticSearch】elasticdump 导入/导出数据及常见报错

走在搬砖的路上！

12-06

1万+

一、环境准备 1、安装elasticdump root权限下，终端中输入 1 # npm install elasticdump -g -g表示全局可用，直接在终端输入 elasticdump --version，出现版本信息即表示安装成功，如下 1 2 # elasticdump --version 7.1.1 二、常用的导入导出方法导出索引的格式 #格式：elasticdump -...

【Elasticsearch专栏 10】深入探索：Elasticsearch如何进行数据导入和导出

weixin_40736233的博客

02-24

3766

在Elasticsearch中，数据导入常通过Bulk API、Logstash或Java客户端进行，支持JSON、CSV等格式。导出则可通过SQL查询、Scroll API或第三方工具如elasticdump实现，将数据以JSON、CSV等格式导出。这些方法确保了数据的高效、安全导入与导出。

参与评论您还未登录，请先登录后发表或查看评论

零停机运维：elasticsearch-dump动态参数调整实战指南

最新发布

gitblog_01112的博客

09-16

229

你是否还在为Elasticsearch数据迁移时的配置修改而烦恼？每次调整参数都需要重启进程导致服务中断？本文将详解elasticsearch-dump的动态参数调整机制，教你如何在不中断数据传输的情况下实时优化迁移性能，解决「配置修改必重启」的行业痛点。读完本文你将掌握：热更新核心参数识别、实时调整命令语法、性能监控指标设置以及常见场景的参数优化方案。 ## 动态参数调整的技术原理 elas...

使用 Elasticsearch 实现百万级数据高效导出的实践

weixin_43063493的博客

03-25

913

本文介绍了如何使用 Elasticsearch 的 Scroll API 和 Search After API 实现百万级数据的高效导出，并提供了完整的 Java 示例代码。本文将介绍如何使用 Elasticsearch 的 `scroll` API 和 `search_after` API 来实现百万级数据的导出，并附带完整的 Java 示例代码。1. **排序字段**：`sourceBuilder.sort("_id", SortOrder.ASC)` 使用 `_id` 字段进行排序，确保结果有序。

elasticdump文档数据导入和导出

pansiliang2009的博客

08-18

680

1、--bulk=true参数只是指示elasticdump使用Bulk API进行批量导入操作。5、也可以全量导出所有索引的数据，如果数据过大需要大量时间，可以使用nohup命令后台执行。2、--limit参数设置每批次导入的文档数量，可以灵活控制导入的速度和资源消耗。4、-searchBody=设置查询条件(必须是转义后的json）1、index_type没有自定义可以不要。2、--type可以不要，默认就是data。3、--limit=每次批量导出数据的条数。

ElasticSearch 实战：使用elasticdump导出导入数据

qq_33240556的博客

04-02

1269

elasticdump 是一个用于备份和迁移 Elasticsearch 数据的命令行工具。以下是在实践中使用 elasticdump 导出和导入数据的具体步骤： 1. 安装 elasticdump 确保您已安装 Node.js。然后，使用 npm 安装 elasticdump： npm install -g elasticdump 2. 导出数据导出整个索引假设要导出名为 my_index 的索引到本地 JSON 文件 my_index_dump.json： elasticdump \ --in

elasticsearch 数据导入/导出工具 elasticdump 的使用

xchenhao 的博客

03-23

1327

将 elasticsearch 数据导出至 JSON（或 csv）

elasticsearch数据离线迁移神器：esgo2dump，可以替代elasticdump的es dump工具

柠檬说葡萄你好酸

07-13

665

今天，我要向大家介绍一款强大的离线elasticsearch数据迁移工具——esgo2dump，它能助你在Elasticsearch数据导出的道路上乘风破浪！它不仅支持Elasticsearch 7和6版本，而且提供了丰富的功能，让你的数据迁移工作变得轻松愉快。esgo2dump作为一款简洁而强大的数据导出工具，无疑为我们的Elasticsearch管理工作带来了极大的便利。记得，实践是检验真理的唯一标准，所以不要犹豫，立即开始你的esgo2dump之旅吧！或者，你也可以直接下载预构建的二进制文件。

ElasticSearch之使用elasticdump备份恢复数据

qq_34478339的博客

07-30

1106

本文介绍了使用Elasticdump工具进行Elasticsearch数据备份与还原的方法。Elasticdump适用于数据量较小、索引不多的场景，支持单个/多个索引的文档数据（data）和索引结构（index）备份，但存在一些局限性，如不能同时备份index和data、通配符还原受限等。文章详细说明了安装步骤（Node.js环境配置+离线包安装）和基本语法，并提供了多种使用示例，包括全量备份、指定索引备份、S3存储操作等场景。实战部分展示了从下载安装包到环境配置的完整部署流程。该工具操作简单但需注意其适用

elasticdump 如何把数据导入到开启https的es中，请示例

07-15

在示例中，`source-es`是源Elasticsearch实例的主机名或IP地址，`source-index`是要导出数据的源索引名称。 `destination-es`是目标Elasticsearch实例的主机名或IP地址，`destination-index`是要导入数据的目标索引...

Elasticsearch数据导出工具es_data_export.zip

09-04

软件介绍: elastic数据导出工具，使用es_data_export能够直接将es中的数据导入存储到Mysql，这个需要安装JAVA运行环境，通过它你可以指定存储到本地文件夹中，可以选择以json格式或者sql语句的形式。资源文件列表：.settingsbuilddocsliblogssrctarget.classpath.gitignore.projectbuild.batbuild.xmlexport.propertiesLICENSElogback.xmlpom.xmlREADME.mdrun.shstop.sh

Elasticsearch数据导出工具

02-21

elastic数据导出工具，可以直接将es中的数据导入存储到Mysql，也可以指定存储到本地文件夹中，可以选择以json格式或者sql语句的形式

es_data_export:ES数据导出工具，ES data export tool，elasticsearch data export tool，elasticsearch数据导出到文件，elasticsearch数据导出到数据库，目前已支持全部的6.x的版本,后续跟进更低的版本

05-13

不再更新，目前logstash导数据到文本或者数据库更加智能高效下一个版本将支持 1、断点续导； 2、配置参数动态输入； 3、支持从一个index导入另一个index，一个集群导入另一个集群ES； 4、写个定时脚本执行,PS:很多小伙伴说他们需要定时导出数据； About 该工具实现从ES中导出数据,并且可以对导出的数据格式和数据文件做部分自定义,该工具主要使用ES中srcoll接口多线程导出数据. Design 项目采用 Java 构建。访问ES部分采用官方 RestClient 构建通信。数据导出方式为Srcoll方式,多线程的话通过slice对ES的数据切割数据。线程池用 BlockingQueue 用作队列，如果队列使用完，则获取ES数据线程会阻塞等待新的队列。 TODO LIST 支持导出到文件，支持格式txt,json,sql。支持导出文件对文件进行切割处理，文件

ES数据导出工具指南

gitblog_00518的博客

08-20

553

ES数据导出工具指南项目介绍本项目ES数据导出工具是一个基于Elasticsearch的数据导出解决方案，由GitHub仓库 https://github.com/760515805/es_data_export.git 提供。它旨在简化从Elasticsearch索引中提取数据并转换成CSV、Excel或PDF等格式的过程，适用于数据分析、备份或是数据迁移场景。项目特别适合那些需要定期处理和...

Elasticsearch-7.9.0数据迁移工具 Elasticdump导入导出

f223334444的博客

06-21

640

Elasticdump 是一种用于将 Elasticsearch 数据进行转移和备份的命令行工具。它可以从一个 Elasticsearch 集群导出索引数据，并将其导入到不同的 Elasticsearch 集群或版本中。同时，Elasticdump 还支持将 Elasticsearch 数据以 JSON 文件的格式进行导入和导出，方便用户进行数据备份和迁移。

Elastic Search数据导出

yyp0719的博客

04-11

1464

使用 elasticsearch-dump导出ES数据

【ElasticSearch】elasticdump 导入/导出数据

taoliangquan的博客

11-16

1314

elasticdump 导入/导出数据

智能高效的Elasticsearch数据导出工具——es_data_export

gitblog_00470的博客

08-20

875

智能高效的Elasticsearch数据导出工具——es_data_export 在数据处理和分析领域，Elasticsearch（ES）作为一个强大的搜索引擎和分析引擎，被广泛应用于各种场景。然而，如何高效地将ES中的数据导出到文本文件或数据库中，一直是开发者面临的挑战。今天，我们向大家推荐一款开源项目——es_data_export，它以其智能高效的数据导出功能，为开发者提供了一个强大的工具。...

导出es的数据

songbing587的博客

11-23

2645

前提条件安装node.js 安装elasticdump插件 npm install npm install elasticdump -g 出现下面界面，证明安装插件安装成功导出数据 elasticdump --limit 10000 --input=http://userName:password@ip:port/indexName --output=G:\sofe\test_data3.json 例子 example：elasticdump --limit 10000 --input=htt