ElasticSearch 学习笔记:Reindex

ES数据库重建索引—Reindex详解 2、当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;1)用过Scroll接口吧,很慢?1、当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。2)每个Scroll请求,可以分成多个Slice请求,可以理解为切片,各Slice独立并行,利用Scroll重建或者遍历要快很多倍。3)如果这个slices数字很大(例如500),建议选择一个较低的数字,因为过大的slices 会影响性能。 阅读详情

本文目录

1 创建新的索引(Index)

2 导入数据(Reindex)

3 批量更新(Update by Query)

4 新建/删除别名(Alias)

5 相关文章


1 创建新的索引(Index)

注意:若需要向已存在的索引迁移数据,则不需要创建新的索引。

PUT /<indexName>
{
  "settings": {
    "index": {
      "number_of_shards": 5,
      "number_of_replicas": 1
    }
  }
}


2 导入数据(Reindex)

POST /_reindex
{
  "source": {
    "index": "<sourceIndexName>",
    "type": "<sourceTypeName>",
    "query": {
      ...
    },
    "sort": {
      "<fieldName>": "asc/desc"
    },
    "size": <sizeNum>,
    "_source": [
      "<fieldName>",
      "<fieldName>",
      ...
    ]
  },
  "dest": {
    "index": "<destIndexName>",
    "version_type": "internal(default)/external",
    "op_type": "create"
  }
}

说明:

(1)version_type:

internal 表示迁移全部数据 且 完全覆盖冲突文档(即使目标索引文档版本新于源索引文档)。

external 表示迁移全部数据 且 更新旧版本冲突文档。

(2)op_type:

create 表示仅创建目标索引不存在的文档。


3 批量更新(Update by Query)

POST /<indexName>/<typeName>/_update_by_query
{
  "query": {
    "match_all": {}
  },
  "script": {
    "inline/source": "ctx._source.<fieldName> = ctx._source.<fieldName> + ''"
  }
}

说明:

inline:ES 5.6版本之前;

source:ES 5.6版本及以后

4 新建/删除别名(Alias)

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "<indexName>",
        "alias": "<alias>"
      }
    }
  ]
}

{
  "actions": [
    {
      "remove": {
        "index": "<indexName>",
        "alias": "<alias>"
      }
    }
  ]
}

5 相关文章

《ElasticSearch 学习笔记:常用内容》

《ElasticSearch 学习笔记:Mapping》

《ElasticSearch 学习笔记:Multi Search》

《ElasticSearch 学习笔记:聚合(Aggregation) - Top Hits》

ElasticSearch救火神器reindex 在使用es的过程中,有时候不小心在查询的时候应该使用Get操作,却使用了POST操作,这就会导致es的mapping里面多出一个无用的字段。或者在未定义字段类型时提交了新的数据字段,就会导致字段类型与预期的不一致,从而造成许多麻烦。 es是不支持删除单个字段的,尽管可以删除单个字段的所有数据,但是这个字段依然存在mapping声明中无法删除,这时候es的reindex api就该上场了,堪称救火神... 阅读详情

相关推荐

Elasticsearch reindex api 索引重建介绍与使用细节、性能优化

Reindex会将一个索引的数据复制到另一个已存在的索引,但是并不会复制原索引的mapping(映射)、shard(分片)、replicas(副本)等配置信息。ES官方提供了_reindex这一API,相比于使用bulk重新导入数据的速度更快,其核心是做跨索引、跨集群的数据迁移。在运行_reindex操作前,应当先根据复制源索引及存储需求创建新的目标索引,报错设置mapping映射、分片、副本等。

qq_50790981的博客 3488

ElasticSearch-学习笔记

文章目录前言1.简介2.Es与MySql的对比3.Es与其他数据存储组件比较4.特点5.倒排索引6.B+Tree7.ElasticSearch中的基本概念8.ElasticSearchRepository和ElasticSearchTemplate的使用9.FSCrawler(ElasticSearch的FS搜寻器。)10.RESTful API11.中文分词12.动态同义词(自定义)13.JavaAPI(实现ES的工具类,采用了高级API)总结 前言 本文分享本菜鸟的ElasticSearch笔记。 内

LeiKe_的博客 1950

【elasticsearch】ES数据库重建索引 -- Reindex(数据迁移)

转载:https://www.cnblogs.com/Ace-suiyuan008/p/9985249.html 1.应用背景: 1、当你的数据量过大,而你的索引最初创建的分片数量不足,导致数据入库较慢的情况,此时需要扩大分片的数量,此时可以尝试使用Reindex。 2、当数据的mapping需要修改,但是大量的数据已经导入到索引中了,重新导入数据到新的索引太耗时;但是在ES中,一个字段的mapping在定义并且导入数据之后是不能再修改的, 所以这种情况下也可以考虑尝试使用Reindex。 2.Reind.

九师兄 1万+

ES索引重建reindex详解

ES分片数变更、mapping字段变更、分词规则修改等必须重建索引,此时可通过es本身自带的reindex功能进行数据迁移,支持跨索引、跨集群的数据迁移。

东境物语 1万+

农业杂草检测——甜菜杂草目标检测数据集

甜菜田中常见的杂草种类繁多,主要有稗草、狗尾草、芦苇、灰藜等。•稗草:一年生草本植物,和稻子外形极为相似。秆直立,光滑无毛。圆锥花序主轴具角棱,粗糙;小穗密集于穗轴的一侧,具极短柄或近无柄。花果期 7 - 10月。生长在稻田里、沼泽、沟渠旁、低洼荒地等。•狗尾草:又叫莠,因穗形像狗尾巴而得名。秆疏丛生,直立或基部膝曲上升。叶片条状披针形,叶鞘松弛,光滑,鞘口有毛;叶舌毛状。圆锥花序呈圆柱状,直立或稍弯垂,刚毛绿色或变紫色。夏、秋采收,晒干。常生长在麦田、谷子、玉米、棉花、豆类、花生、薯类、蔬菜、甜菜、马铃薯

qq_38220914的博客 1140

Android Qcom USB Driver学习(五)

在前面的第二期中,我们知道一些非标的USB的充电类型Floatingcharger,其具有和普通DCP相似的大电流能力,但在最初检测的时候会限制Inputcurrentlimit到100mA,来进行检测是否是SDP类型,所以要支持大电流输入就需要进行vote操作,前面的几篇都有涉及,所以本文学习一下pmicusbcharger都相关的vote机制。...

Android驱动开发 2901

9、Elasticsearch使用reindex做数据迁移

reindex ,是将数据从一个 index 移动到另一个 index 的过程。我们知道,当一个索引能够写入文档时,就意味着该索引的 shard 分片,mapping 等结构不能再被修改了,而有时候却需要调整索引的结构。

小确幸的博客 5753

Oracle19c时区升级实战:从32到42版本的数据泵TSTZ报错解决方案

本文详细介绍了Oracle19c时区版本从32升级到42的实战步骤,重点解决数据泵TSTZ报错问题。通过检查时区版本、下载补丁包、应用补丁及执行升级脚本等关键操作,确保数据库时区数据更新,避免夏令时转换错误和历史时区规则不匹配等问题。文章还提供了常见问题排查和升级后的注意事项,帮助DBA高效完成时区升级任务。

n7o8p的博客 284

【Elasticsearch】小白实战!ES使用Reindex迁移数据

ES 数据迁移,Reindex 迁移亿级数据;Linux 角色添加到 root;kibana 对外访问设置

Your_Boy_Tt的博客 5630

Qt 调用YOLO模型(代码)

本文介绍了如何在 Qt C++ 环境中集成 YOLO 模型进行目标检测,包括模型封装、界面设计和实时处理等关键步骤。通过这种方法,你可以快速开发出具有目标检测功能的 Qt 应用程序,应用于监控系统、机器人视觉、图像分析等多个领域。

轩宇的博客 259

你学Simulink--基于储能系统的建模与仿真场景:飞轮储能系统在电网调频中的作用仿真

本文详细介绍了利用Simulink+Simscape搭建飞轮储能系统(FESS)电网调频仿真模型的全过程。主要内容包括:系统工作原理及调频作用分析,基于Simulink的模块化建模步骤(飞轮、电机/发电机、功率电子接口等组件搭建),调频控制策略实现(频率检测、功率指令生成和模式切换),以及仿真参数设置与结果分析方法。该模型可有效模拟FESS在电网频率调节中的快速响应特性,为新能源存储和智能电网研究提供重要仿真工具,同时可通过参数优化和算法改进进一步提升系统性能。

xiaoheshang_123的博客 168

elasticsearch 基础 —— ReIndex

Reindex会将一个索引的数据复制到另一个已存在的索引,但是并不会复制原索引的mapping(映射)、shard(分片)、replicas(副本)等配置信息。 一、reindex的常用操作 1、reindex基础实现     _reindex会将一个索引的快照数据copy到另一个索引,默认情况下存在相同的_id会进行覆盖(一般不会发生,除非是将两个索引的数据copy到一个索引中),可以使用...

gmHappy 2万+

【漏洞复现】用友NC-Cloud-反序列化-ResourceManagerServlet

NC Cloud是用友公司推出的大型企业数字化平台。支持公有云、混合云、专属云的灵活部署模式。NC Cloud完全基于云原生架构,技术先进、性能稳定、自主安全可控,支撑大中型以及超大型集团企业N层多site混合云部署方案,支持整个系统高可用、弹性扩展、双/多活,以及快速灾备恢复能力等。用友-NC-Cloud ResourceManagerServlet 接口存在反序列化漏洞,使得攻击者可以通过构造特定的请求远程执行恶意代码。此漏洞可能导致攻击者获取系统权限、执行任意命令,严重威胁系统的机密性和完整性。

漏洞复现 1366

ES reindex介绍

参考资料: https://gaoming.blog.youkuaiyun.com/article/details/82734667 https://www.cnblogs.com/Ace-suiyuan008/p/9985249.html https://www.cnblogs.com/siye1989/p/11561972.html https://www.elastic.co/guide/en/elasticsearch/reference/6.5/docs-reindex.html https://w

future_xiaowu的博客 3494

基于RK3588调试WiFi模块AIC8800

本文介绍了在RK3588平台上移植AIC8800 WiFi模块驱动的过程。开发环境基于Linux 6.1内核和Buildroot文件系统。驱动移植步骤包括:将驱动包放入SDK指定目录、修改Makefile、编译内核、放置固件文件、手动加载驱动模块等。文章还分析了两种常见异常情况:无法识别模块(检查USB信号线路和供电)和偶发断连(检查硬件连接和调整PHY寄存器)。成功加载后可通过ifconfig看到wlan0节点。

qq_45147279的博客 667

PyCharm配置SSH远程解释器第3步时弹框报错:com.google.gson.stream.MalformedJsonException: Expected value at l...如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1928

使用 Elasticsearch Reindex API 迁移数据

创建新索引:根据需求创建一个新索引,新旧索引的字段名称和数据类型必须一致数据完整性:确保在迁移过程中,旧索引不再进行写入操作,以避免数据不一致迁移数据:使用 Reindex API 将旧索引中的数据重新索引到新索引中。

后端开发 1874

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Elasticsearch教程(18) reindex 重建索引,非常实用的功能

elasticsearch reindex 重建索引1. 简单的reindex2. 只创建目标索引中缺少的文档3. 设置批次大小4. 遇到冲突继续5. 只reindex符合条件的数据6. 只同步源index里部分字段7. 屏蔽掉不想同步的字段8. 用script脚本在同步时做数据处理9. 字段重新命名 reindex功能是es的一个非常方便实用的功能,在工作中备份数据比较方便。比如: 要对现场的数据进行操作,怕搞乱了,可以先用reindex备份一下 当前表的mapping设置不合理,但是又不能修改,rei

Java Spring Elasticsearch 1万+

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

【ElasticSearch Reindex重建索引】

什么是Reindex? 索引重建。 Reindex演进 相比于ES 6.1,ES 6.7的Reindex为跨集群的索引重建增加了一系列SSL相关的参数配置。这些参数必须被配置到elasticsearch.yml文件里,只能依靠重启集群来生效,因此不建议频繁修改这些参数。 问题描述 源集群和目标集群都是安全模式。在Reindex操作时,源集群的Hostname在目标集群认证不通过。 [roo...

来啦,老弟~ 2835

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

es 的reindex详解

http://192.168.4.15:9200/_reindex/ POST { "source": { "index": "old_index", "size":1000 //可选,每次批量提交1000个,可以提高效率,建议每次提交5-15M的数据 }, "dest": { "index": "en_law" } } 1、新index不创建mappin...

goxingman的博客 1万+

Elasticsearch: Reindex 接口

在我们开发的过程中,我们有很多时候需要用到Reindex接口。它可以帮我们把数据从一个index到另外一个index进行重新reindex。这个对于特别适用于我们在修改我们数据的mapping后,需要重新把数据从现有的index转到新的index建立新的索引,这是因为我们不能修改现有的index的mapping一旦已经定下来了。在接下来的介绍中,我们将学习如何使用reindex接口。 为了.........

Elastic 中国社区官方博客 4035

【Elasticsearch】_reindex是啥?为啥要进行_reindex?

当你需要更改索引的映射(例如,添加新字段、修改字段类型)时,可以直接创建一个新的索引并使用 `_reindex` 将数据迁移到新的索引中。- 例如,你可能有一个按日期分片的索引,但随着时间的推移,这些索引变得难以管理,可以通过 `_reindex` 将它们合并或重新组织。4. **数据重组**:将多个源索引的数据合并到一个目标索引中,或者将一个大索引拆分成多个小索引。1. **数据迁移**:将数据从旧的索引迁移到新的索引,特别是在需要更新索引映射或设置时。### 如何使用 `_reindex`?

risc123456的博客 834

ElasticSearch reindex 使用

ElasticSearch reindex 使用 处理:ElasticSearch reindex 超时 "error": "Gateway Time-out", "message": "Client request timeout" 有以下几个方案: 增加并行数(根据集群的cpu决定) 增加refresh间隔 副本数为0 增大批次处理量(最大是10000) 对人工智能感兴趣的同学,可...

周天祥的博客 1万+

Elasticsearch Reindex性能提升方法

1、reindex的速率极慢,是否有办法改善? 以下问题来自社区:https://elasticsearch.cn/question/3782 问题1:reindex和snapshot的速率极慢,是否有办法改善? reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级(集群写入性能不存在瓶颈),reindex/snapshot的时候CPU还是IO使...

shadow_zed的博客 2867

ElasticSearch reindex 操作

Elasticsearch Reindex 是用于数据迁移、结构调整和修复的强大工具。当需要修改索引的配置、优化性能或处理数据变化时,Reindex 是一种无缝的方式来复制和重新索引数据。

Mylqs的博客 1041
上一篇: Maven:build标签
下一篇: ElasticSearch 学习笔记:Multi Search
崔显龙
博客等级 码龄15年 95粉丝 64原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值