【Elasticsearch】elasticsearch 压缩索引 shrink

最新推荐文章于 2025-01-10 22:18:52 发布
最新推荐文章于 2025-01-10 22:18:52 发布
阅读量1.5k 收藏
点赞数
分类专栏： 2025最新-大数据-Elasticsearch 文章标签： es 压缩 索引 shrink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/117220186
版权
Elasticsearch的shrink命令用于将已有索引压缩成新的索引，减少主分片数量。操作前需满足索引为只读、集群状态为绿色等条件。shrink过程包括创建新索引、硬链接源索引数据和目标索引的恢复。完成后，源索引和目标索引数据独立，适用于冷数据存储和优化集群资源利用率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

1.概述

关于索引的一些解读，请参考：

【Elasticsearch】elasticsearch 索引 详解

官网 压缩索引 shrink

shrink命令可以将一个已有的索引压缩成一个新的索引，同时primary shard会更少。因为以前提到过，primary shard因为涉及到document的hash路由问题，所以是不允许修改的。

但是如果要减少index的primary shard，可以用shrink命令来压缩index。但是压缩后的shard数量必须可以被原来的shard数量整除。

举例来说，一个有

了解本专栏 订阅专栏 解锁全文
【硬刚ES】ES基础（六十六）使用 shrink与rolloverAPI有效的管理索引
微信搜：import_bigdata，大数据领域硬核原创作者
10-13 621
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的ES部分补充。 课程demo # 打开关闭索引 DELETE test #查看索引是否存在 HEAD test PUT test/_doc/1 { "key":"value" } #关闭索引 POST /test/_close #索引存在 HEAD test # 无法查询 POST test/_count #打开索引 POST /test/_open POST test/_s.
Elasticsearch索引生命周期
Cloud-Future的博客
03-28 3926
索引生命周期阶段定义 Elasticsearch在ILM（Index Lifecycle Management）中定义了索引生命周期的5个阶段： Hot（热）：索引处于活动状态，能够更新（增改删）和查询。 Warm（暖）：处于该阶段的索引不再支持更新，但是能够被查询。 Cold（冷）： 该阶段的索引不再支持更新，只能支持很少的查询，查询较慢！ Frozen（冻结）：该阶段的所有不再支持更新，也很少查询，查询很慢！ Delete（删除）：索引不再需要可以被安全删除。 索引中生命周期策略管理索引何时处于哪
Elasticsearch 调优之 shrink
weixin_30329623的博客
07-09 807
对于索引分片数量，我们一般在模板中统一定义，在数据规模比较大的集群中，索引分片数一般也大一些，在我的集群中设置为 24。但是，并不是所有的索引数据量都很大，这些小数据量的索引也同样有较大的分片数。在 elasticsearch 中，主节点管理分片是很大的工作量，降低集群整体分片数量可以降低 recovery 时间，减小集群状态的大小。很多时候，冷索引不会再有数据写入，此时，可以使用 sh...
Elasticsearch：通过 shrink API 减少 shard 数量来缩小 Elasticsearch 索引
Elastic 中国社区官方博客
10-10 3306
通过使用 Shrink API 使用更少的主碎片来调整 Elasticsearch 索引的大小。在 Elasticsearch 中，每个索引都包含多个分片，而 Elasticsearch 集群中的每个分片都有助于使用cpu，内存，文件描述符等。这无疑有助于并行处理的性能。 以时间序列数据为例，你将对带有当前日期的索引进行大量读写。 如果该索引下降了请求，并且仅时不时地从该索引中读取数据，那么我们不再需要那么多分片，并且如果我们有多个索引，它们可能会建立并占用大量的计算能力。 对于要减少索引大小的情况，可
Elasticsearch Shrink缩小分片数
bigdata_player
02-03 2884
     相信大家都知道 elasticsearch 索引的 shard 数是固定的，设置好了之后不能修改，如果发现 shard 太多或者太少的问题，之前如果要设置 Elasticsearch 的分片数，只能在创建索引的时候设置好，并且数据进来了之后就不能进行修改，如果要修改，只能重建索引。     现在有了 Shrink 接口，它可将分片数进行收缩成它的因数，如之前你是 15 个分片，你可以收...
elasticsearch 分片数量缩小 shrink Api
qq_29644857的博客
12-02 469
Elasticsearch 索引创建完成后，往往会由于各种原因(如：doc_value属性更改、分词器修改、shard数量调整等原因)。理论上一个索引只要创建好，那么生成的shard所建立的倒排索引（底层segment存储）就已经确定了，如果想要重新调整shard数量，就需要重建索引。在一定条件限制下，es提供了 shrink Api 来生成新的具有固定数量（小于原索引shard数）shard的索引。 官方API：shrink Api 对于shrink 的具体操作APi已有详细的描述，下边分析shrink
elasticsearch之索引管理API(Index management)
最新发布
2401_89829274的博客
01-10 792
获取索引。判断索引是否存在打开或关闭索引，使用close index api会使索引处于关闭状态，此时无法对该索引进行读、写，但索引数据不会被删除。收缩索引。收缩索引API允许您将现有索引收缩为具有较少主碎片的新索引(下文为们称之为目标索引)。伸缩后的索引主分片的个数必须是原分片的公约数，举例说明，如果原先索引的个数为15，那伸缩后的索引主分片数量可以是3、5、1。拆分索引。将一个索引的主分片个数扩容，详情下文讲解。
怎样合理创建es索引_ElasticSearch合理分配索引分片原理
weixin_39683769的博客
12-24 447
Elasticsearch 是一个非常通用的平台，支持各种用户实例，并为组织数据和复制策略提供了极大的灵活性。但是，这种灵活性有时会使我们很难在早期确定如何很好地将数据组织成索引和分片，尤其是不熟悉 Elastic Stack。虽然不一定会在首次启动时引起问题，但随着数据量的增长，它们可能会导致性能问题。群集拥有的数据越多，纠正问题也越困难，因为有时可能需要重新索引大量数据。因此，当我们遇到性能问...
第 24 章 - Elasticsearch 索引生命周期管理
不能放弃治疗
10-26 1633
本章讲解 Elasticsearch 的索引生命周期管理。通过 ES 的索引生命周期管理，我们可以非常方便的实现，索引自动删除、索引备份功能。下面我将介绍生命周期的相关概念，以及基本使用。
Elasticsearch Shrink Index 缩小索引
weixin_30776863的博客
04-04 295
1.缩小索引是指将原索引分片数缩小到一定数量。但缩小的数量必须为原数量的因子（即原分片数量是新分片倍数），例如8个分片可以缩小到4、2、1个分片。如果原分片数量为素数则只能缩小到一个分片。在缩小开始时，每个分片的复制都必须在同一节点（node）存在。 2.过程如下： 首先，以相同配置创建目标索引，但是主分片数量减少。 然后硬链接（ hard-linking ） 各部分自原索引到...
ElasticSearch Shrink 减少主分片数
周天祥的博客
12-17 7008
ElasticSearch Shrink 减少主分片数 版本：ElasticSearch 7.2.0 如果该方式不适合，可选用重排索引reindex ：https://blog.youkuaiyun.com/u014646662/article/details/97638792 目录 1、使用场景 2、降低主分片数 3、使用条件 4、Shrink 测试 1、使用场景 ES 5.x 后推出的一...
【Elasticsearch索引】Rollover滚动、Shrink收缩、Split拆分索引
qq_44849679的博客
02-28 1412
新索引的设置、映射和别名取自任何匹配的索引模板。另外，您可以在请求的主体中指定设置、映射和别名，就像create index一样。请求中指定的值将覆盖在匹配索引模板中设置的任何值。例如，下面的滚动请求将覆盖索引。},"index.number_of_shards": 1, //目标索引中的分片数。这必须是源索引中分片数量的一个因素。"index.codec": "best_compression" //最佳压缩仅在对索引进行新写操作时生效，例如将分片强制合并到单个段时。},
ES shrink ——一般是结合rollover一起使用的，一开始没有看懂官方shrink文档，当看了这个之后就明白了...
weixin_34234829的博客
11-16 332
rollover Elasticsearch 从 5.0 开始，为日志场景的用户提供了一个很不错的接口，叫 rollover。其作用是：当某个别名指向的实际索引过大的时候，自动将别名指向下一个实际索引。 因为这个接口是操作的别名，所以我们依然需要首先自己创建一个开始滚动的起始索引： # curl -XPUT 'http://localhost:9200...
ElasticSearch 核心概念（倒排索引的压缩算法）
m0_46690280的博客
05-20 1003
ElasticSearch 核心概念搜索引擎什么是搜索引擎？搜索引擎应该具备哪些要求？面向海量数据，如何达到“搜索引擎”级别的查询效率？数据库的组成结构MySQL的索引结构MySQL索引能解决大数据检索的问题吗？ElasticSearch引擎Lucene全文检索倒排索引核心算法原理倒排表的压缩算法FOR压缩算法 搜索引擎 什么是搜索引擎？ 全文搜索引擎 自然语言处理（NLP）、爬虫、网页处理、大数据处理 如谷歌、百度、搜狗、必应等等 垂直搜索引擎 有明确搜索目的的搜索行为 各大电商网站、OA、站内搜索、视频
Elasticsearch -- Shrink Index
chihu2163的博客
11-06 272
shrink index API 是把一个源索引，收缩到另一个主分片更少的目标索引中。但是目标索引的分片数，必须是源索引分片数的因子。比如，源索引的分片数是：8，那么目标索引的分片数可以是：4, 2, 1；如果源索引的分片数是一个素数，那么目标索引的分片数只能是：1。在收缩之前，源索引中每个分...
[elasticsearch笔记] Index Shrink/Split/rollover
weixin_43834662的博客
07-17 275
note target 的 primary 数是 source 的 primary的 factor。如 source_primary = 8, target_primary 可以为 1,2,4 Shrink 步骤 新建 target index，index定义相同，但是primary更下 从source 到 target，进行 hard-links. 如果系统不支持，则copy，会比较耗时 恢...
【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法
weixin_43315211的博客
12-14 1838
Elasticsearch
Elasticsearch进行优化-使用索引拆分（Split）和索引收缩（shrink ）
02-18 2377
在Elasticsearch集群部署的初期我们可能评估不到位，导致分配的主分片数量太少，单分片的数据量太大，导致搜索时性能下降，这时我们可以使用Elasticsearch提供的Split功能对当前的分片进行拆分，拆分到具有更多主分片的新索引。
Elasticsearch 索引管理
小獣专栏
06-25 1092
data_content : 优先分配给这个角色,如果有多个data_content,会根据负载均衡策略进行自动负载.因为这个角色优先级比较高,所以如果data_content和data_hot之类的同时设置的话,那么data_hot, data_warm等就会不起作用. 现象:就是不会优先分配data_hot,会随机选择data_content角色. 解决方案就是如果根据节点角色进行数据流转或者索引分配就不要配置data_content角色.对于数据流，索引模板在创建时配置流的 backingDice。
Elasticsearch面试精华：34题实战解析与索引调优策略
倒排索引是Elasticsearch的核心技术，它是一种高效的数据结构，通过将文本拆分成词并记录它们在文档中的位置，形成词典和倒排表。这使得搜索时可以从词出发，迅速定位包含该词的文档，实现了近乎线性的检索速度。在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值