elasticsearch分片迁移操作

elasticsearch可以通过/_cluster/reroute api来手动进行索引分片的分配。

不过要想完全手动,必须先禁止es进行自动索引分片分配,否则你从一节点把分片移到另外一个节点,那么另外一个节点的一个分片又会移到那个节点。数据量很少的时候,可能影响不大,但是如果数据量很大,这个参数必须要设置,因为如果不设置,即便你不手动迁移分片,在我们重启机群的时候,也会产生分片的迁移,导致大量资源被占用,重启变慢。

一共有三种操作,分别为:移动(move),取消(cancel)和分配(allocate_replica)。下面分别介绍这三种情况:

移动(move)
把分片从一节点移动到另一个节点。可以指定索引名和分片号。
取消(cancel)
取消分配一个分片。可以指定索引名和分片号。node参数可以指定在那个节点取消正在分配的分片。allow_primary参数支持取消分配主分片。
分配(allocate)
分配一个未分配的分片到指定节点。可以指定索引名和分片号。node参数指定分配到那个节点。allow_primary参数可以强制分配主分片,不过这样可能导致数据丢失。我一般用来清空某个未分配分片的数据的时候才设置这个参数.

示例

elasticsearch集群有node-1,node-2,node-3三个节点,top_n_database_statement-20200519、为一个三分片,双副本的索引,当前分片的分布情况如下node-1(0,1),node-2(0,2),node-3(1,2),需要下线node-3节点,操作如下:

  1. 关闭集群自动索引分片分配

    # 1. 关闭集群自动shard allocation
    PUT _cluster/settings 
    { 
      "persistent": { 
        "cluster.routing.allocation.enable": "none"
      }
    }
    
  2. 迁移node-3上分片到node-1,node-2节点

    # node-3分片1迁移到node-2
    POST /_cluster/reroute
    {
        "commands" : [
            {
                "move" : {
                    "index" : "top_n_database_statement-20200519", "shard" : 1,
                    "from_node" : "node-3", "to_node" : "node-1"
                }
            }
        ]
    }
    # node-3分片2迁移到node-1
    POST /_cluster/reroute
    {
        "commands" : [
            {
                "move" : {
                    "index" : "top_n_database_statement-20200519", "shard" : 2,
                    "from_node" : "node-3", "to_node" : "node-1"
                }
            }
        ]
    }
    
  3. 确认node-3无分片后,节点下线。

  4. 开启集群自动索引分片分配

    # 开启集群自动shard allocation
    PUT _cluster/settings 
    { 
      "persistent": { 
        "cluster.routing.allocation.enable": "all"
      }
    }
    
### 解决 Elasticsearch 集群中分片分配 (unassigned) 的方法 当遇到Elasticsearch集群中的分片处于未分配状态时,可以采取多种措施来解决问题。通常情况下,这可能是由于节点间的通信问题、磁盘空间不足或是配置不当等原因造成的。 #### 检查集群健康状况 为了诊断具体原因,可以通过API请求获取当前集群的状态信息: ```bash curl -X GET "http://localhost:9200/_cluster/health?pretty" ``` 这条命令会返回有关整个集群健康的详情,包括活动的主分片数、副本数量以及是否有任何未分配分片等重要指标[^2]。 #### 查看详细的分片分配情况 进一步了解哪些具体的索引或分片存在问题,可执行如下查询: ```bash curl -X GET "http://localhost:9200/_cat/shards?v=true&h=index,shard,prirep,state,node" ``` 此操作能够展示每一个分片的位置及其状态(例如`STARTED`, `UNASSIGNED`),从而帮助定位确切的问题所在。 #### 常见解决方案 - **重启相关节点**:如果某个数据节点突然离线,则可能导致其上的某些分片无法被重新分配给其他存活的数据节点;尝试重启该节点并观察恢复效果。 - **调整集群设置参数**: - 修改`cluster.routing.allocation.disk.watermark.low` 和 `high` 参数以适应实际可用存储容量; - 设置合理的`index.number_of_replicas`值确保有足够的副本来维持高可用性; - 调整`cluster.info.update.interval`使元数据更新更加频繁以便更快响应变化。 - **手动强制分配分片**:对于那些因为策略限制而未能自动迁移的情况,管理员可以选择通过特定指令来进行干预,比如使用以下RESTful API调用来指定目标节点完成分片的手动重置工作: ```json POST /_cluster/reroute { "commands": [ { "allocate_stale_primary": { "index": "your_index_name", "shard": 0, "node": "target_node_id_or_name", "accept_data_loss": true } } ] } ``` 注意,在这里设置了`accept_data_loss:true`意味着接受可能存在的数据丢失风险,请谨慎评估后再做决定[^1]。 #### 日志分析 最后但同样重要的一步是审查日志文件,特别是位于`logs/`目录下的`.log`记录,它们往往包含了最直接有价值的线索用于排查故障根源。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值