elasticsearch unassigned shards的问题

最新推荐文章于 2023-11-01 11:32:29 发布
原创 最新推荐文章于 2023-11-01 11:32:29 发布 · 711 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文深入探讨了Elasticsearch中Shard分配的延迟机制，解释了当节点下线时如何处理未分配的Shard，以及如何通过调整参数来优化这一过程。同时，分析了分片数量超过节点数时的解决方案，以及分片历史数据丢失的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

场景

  • 今天将elasticsearch集群的一个node下线的时候 发现unassigned shards异常

分析

  • 遇到了Shard allocation过程中的延迟机制, 掉了节点之后， es会在一分钟之后进行下面的操作
    • 将缺失主分片的一个副分片升级为主分片
    • master节点补全缺少的副分片
    • 各个节点上的分片的数量可能是不一致的， 分片会在各个节点上转移以达到一个新的平衡点
    • 上述的操作 会进行大量的IO操作, 延迟一分钟是为了确定节点挂掉， 而不可以立刻上线的那种; 不然Shard allocation没有延时机制,节点立刻上线会出现大量的无用功

unassigned shards分析

  • 查看unassigned shards的情况
    + curl --user elastic:yourpassword -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED
  • 场景
    • Shard allocation的延迟机制
      • 这个时间是可以自己调节的
    • 单个索引分片的数量大于了节点的数量
      • master节点会尽量的把不同的分片分配在不同的节点上, 如果分配不完也会出现unassigned shards的状态
      • 这时候要么减少副本分片的数量 要么增加节点
      • 在创建索引的时候， N >= R + 1这里 N 代表 node的个数， R代表你index 的副本数目
    • 分片的历史数据丢失
      • 节点某些数据没有副本，这个节点挂了
【Elasticsearch】Elasticsearch底层系列之Shard Allocation机制
九师兄
06-14 595
这便是Shard分配，搬迁和平衡的全部过程，ElasticSearch通过这三个操作，保证Shard在Node之间均衡的分配，修改动态配置后完成Shard迁移，以及在集群运行过程中的自动均衡。
Elasticsearch Index Shard Allocation 索引分片分配策略
醉鱼的博客
01-19 981
Elasticsearch 的集群在分配分片的时候，Elasticsearch 会尽可能的将单个索引的分片尽可能的分配在尽可能多的节点上，但是有时不是那么的均匀。通过上述的操作可以让我们尽可能的防止数据丢失，但是如果离开的节点很快就恢复那么这可能就是没有必要的操作了。如果当前离开的节点上有主分片，会将其它的副本分片提升为主分片以替换该节点上的主分片；可以看到，有分片是没有进行分配的，所以这也是修改分片分配策略时需要特别注意的一点。如果延迟分配超时，主节点会将丢失的分片分配给另一个节点，该节点将开始恢复。
Elasticsearch关于unassigned shards的查看
lcwy220的博客
04-12 1万+
使用ES时经常会在索引上出问题，总结一些小tips，以后遇到什么问题，以及相应的解决方案，都会慢慢增加。 关于unassigned shards的问题，一般遇到这种情况都是——重启试试。 不行的话，只能强制删除。 那么，首先得看集群状态： curl -XGET 'http://localhost:9200/_cluster/health' 第二，看
Elasticsearch unassigned shards解决方法
PySean的博客
05-17 1762
增加节点容量：未分配的碎片可能是由于节点容量不足导致的。可以通过增加节点的容量来解决这个问题，或者添加更多的节点到集群中。在添加节点之前，请确保你的硬件和网络资源足够支持。执行索引优化：如果集群中的某个索引过于分散或者碎片过多，可能会导致未分配的碎片。可以尝试优化索引以减少碎片的数量，从而减少未分配的碎片。修复故障节点：如果未分配的碎片是由于某个节点出现故障导致的，可以尝试修复该节点或将其替换为新的节点。
elasticsearch 子节点有Unassigned Shards处理方法
weixin_30770783的博客
06-14 340
1、查找原因，找到未知道的node，shard http://localhost:9200/_cluster/allocation/explain?pretty POST /_cluster/reroute?retry_failed=true{ "commands" : [ { "allocate_replica" : { ...
[unassigned_shards]Fix issue: elasticsearch unassigned shards
洛洛devil的专栏
11-25 1119
今天遇到了一个elasticsearch相关的坑[unassigned shards]，蹚完了，记录一下(详细的解释在中下方，耐心看完)。 1.先确保elasticsearch(后简称es)处于启动状态； /etc/init.d/elasticsearch start #查看9200端口是否正常 [netstat -tnlp | grep 9200] 2.查看集群状态信息和状态为una...
ElasticSearch-解决unassigned shareds问题
qq522044637的博客
11-25 2610
背景 es版本：6.4 因为一次集群异常，重启es集群后显示unassigned shareds。以下是解决办法 注意：如果网上其他博客的方法执行curl命令总报错的时候，一定要去官网，选择自己的版本，查看cluster reroute的文档。很可能是字段错了！！！ 文档链接给大家留在最后的参考文档了，可点进去自行选择版本。 1.获取unassigned shareds信息 curl elasticsearch_ip:9400/_cat/shards > UNASSIGNED.txt
Elasticsearch的UNASSIGNED未分配解决方案
lengyer的博客
11-18 2353
1.查看问题和原因 方法一： Linux上 curl -XGET localhost:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason| grep UNASSIGNED 方法二： Elasticsearch Head上 常见集群返回的原因： 1）INDEX_CREATED：由于创建索引的API导致未分配。 2）CLUSTER_RECOVERED：由于完全集群恢复导致未分配。 3）INDEX_REOPENED..
解决elasticsearch集群Unassigned Shards无法reroute的问题
dhaibo1986的专栏
07-28 2237
1.背景&问题描述 接上篇文章https://blog.youkuaiyun.com/dhaibo1986/article/details/107564968 在上一篇文章中，由于系统宕机，导致大量索引出现了Unassigned 状态。在上一篇文章中，我们通过reroute API进行了操作，对主分片缺失的索引，经过上述操作之后，分配了主分片。但是在接下来的操作中，对于副本分片，reroute出错！ 如下是索引 alarm-2017.08.12，第0个分片的副本没有分配： 下面执行语句： POST /_c
解决elasticsearch主分片unassigned的问题
真理部
04-18 5942
[root@localhost ~]# sh -x /tmp/es.sh + curl -XPOST localhost:9500/_cluster/reroute -d ‘{ “commands”:[ { “allocate”:{ “index”: “simtest”, “...
ElasticSearch- 单节点 unassigned_shards 故障排查（NoShardAvailableActionException）
ss810540895的博客
08-24 3552
所以副本分片和主分片是不能放到一个节点上面的，可是在只有一个节点的集群里，副本分片没有办法分配到其他的节点上，所以出现所有副本分片都unassigned得情况。因为只有一个节点，如果存在主分片节点挂掉了，那么整个集群理应就挂掉了，不存在副本分片升为主分片的情况。但是对于目前的单机环境，从上面截图可以看出存在5个 unassigned 的分片，新建索引时候，分片数为5，副本数为1，新建之后集群状态成为yellow，其根本原因是因为集群存在没有启用的副本分片。,将副本调整为0. 如下图所示，es变成了“绿色”
Elasticsearch之Unassigned shard问题
weixin_34293059的博客
11-20 342
开发环境下遇到了这个问题: 一个index的主/副shard总数量大于node数量导致部分shard未分配,进而节点报黄 最终通过减少replicas数量解决了问题 PUT index_name/_settings { "number_of_replicas":x } 复制代码通过这次排查也理清了es的一些基础概念,下面以数据库作对比,会更容易理解 node 节点,等同于mysql实例,不同...
Elasticsearch关于unassigned shards修复
arterforyou1206的专栏
12-23 2716
ES 版本： 5.2.1步骤： curl localhost:9200/_cat/shards > shards 跑脚本：nohup python recovery.py & ### 注意：跑脚本过程会返回大量json，时间较长，请注意放入后台 查看修复shard进度：curl 127.0.0.1:9200/_cat/recovery/你修复shard对应的索引 结果： 找到索引对应的shard
Elasticsearch unassigned shards的解决之道
epitomizelu的专栏
05-24 2099
elasticsearch 出现yellow 分片有unassigned现象原因 如何处理elastic search中的unassigned shards?
Elasticsearch 分片down（unassigned shard）常用处理方式
大叶子不小的博客
09-21 1250
"primary"字段的值表明要查询的分片是主还是副本，如果_cat/shards命令查询结果中第三列的值为p，说明是主分片，否则是副本分片。6. 分析第1步_cat/shards命令中处于UNASSIGNED状态的分片，是否集中在少数几个EsNode实例中，如果是，可以尝试单独重启这几个ES实例，触发分片再次恢复。4. 执行解释API查看分片UNASSIGNED的详细原因, 请求中的三个参数可以在步骤1执行命令结果中查询到，第一列为索引名称，第二列为分片编号，第三列为是否主分片。
如何解决Elasticsearch unassigned shards 问题
热门推荐
aa1bb1cc2的专栏
09-06 2万+
原文链接https://www.datadoghq.com/blog/elasticsearch-unassigned-shards/ 如何解决Elasticsearch unassigned shards 问题 在Elasticsearch中，健康的集群是一个均衡的集群：主节点和副本分片分布在所有节点上，以便在节点发生故障时具有持久的可靠性。 但是当你看到碎片在UNASSIGNED状态中挥...
Es中出现unassigned shards问题解决
土豆是狗的博客
11-01 5616
unassigned shards 这种问题很常见，我主要列了出来几种情况，及解决办法，目前我的情况是测试环境，如果以后遇到相似情况会持续跟进这个问题，欢迎大佬指导！
es创建索引和yellow排查解决
qq_39412825的博客
07-09 3397
索引创建 PUT /index_name { “settings”: { “index”: { “refresh_interval”: “30s”, “number_of_shards”: “3”, “max_result_window”: “100000000”, “analysis”: { “filter”: { “escapeLen”: { “type”: “length”, “max”: “30”, “min”: “2” } }, “analyzer”: { “escapeHtml”: { “fil
elasticsearch 集群管理
weixin_35675281的博客
09-29 1250
elasticsearch 集群管理常用的命令
elasticsearch分片UNASSIGNED
最新发布
02-15
### 解决 Elasticsearch 集群中分片未分配 (unassigned) 的方法 当遇到Elasticsearch集群中的分片处于未分配状态时，可以采取多种措施来解决问题。通常情况下，这可能是由于节点间的通信问题、磁盘空间不足或是配置不当等原因造成的。 #### 检查集群健康状况 为了诊断具体原因，可以通过API请求获取当前集群的状态信息： ```bash curl -X GET "http://localhost:9200/_cluster/health?pretty" ``` 这条命令会返回有关整个集群健康的详情，包括活动的主分片数、副本数量以及是否有任何未分配的分片等重要指标[^2]。 #### 查看详细的分片分配情况 进一步了解哪些具体的索引或分片存在问题，可执行如下查询： ```bash curl -X GET "http://localhost:9200/_cat/shards?v=true&h=index,shard,prirep,state,node" ``` 此操作能够展示每一个分片的位置及其状态（例如`STARTED`, `UNASSIGNED`），从而帮助定位确切的问题所在。 #### 常见解决方案 - **重启相关节点**：如果某个数据节点突然离线，则可能导致其上的某些分片无法被重新分配给其他存活的数据节点；尝试重启该节点并观察恢复效果。 - **调整集群设置参数**： - 修改`cluster.routing.allocation.disk.watermark.low` 和 `high` 参数以适应实际可用存储容量； - 设置合理的`index.number_of_replicas`值确保有足够的副本来维持高可用性； - 调整`cluster.info.update.interval`使元数据更新更加频繁以便更快响应变化。 - **手动强制分配分片**：对于那些因为策略限制而未能自动迁移的情况，管理员可以选择通过特定指令来进行干预，比如使用以下RESTful API调用来指定目标节点完成分片的手动重置工作: ```json POST /_cluster/reroute { "commands": [ { "allocate_stale_primary": { "index": "your_index_name", "shard": 0, "node": "target_node_id_or_name", "accept_data_loss": true } } ] } ``` 注意，在这里设置了`accept_data_loss:true`意味着接受可能存在的数据丢失风险，请谨慎评估后再做决定[^1]。 #### 日志分析 最后但同样重要的一步是审查日志文件，特别是位于`logs/`目录下的`.log`记录，它们往往包含了最直接有价值的线索用于排查故障根源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值