ElasticSearch单节点扩展集群

现况

公司线上环境，随着数据量的增长，存储、查询请求量的增长，单节点已经无法满足使用。需要将单机ES扩展成集群。

数据量：6亿+，800G+

环境依赖

机器配置：24C，64G虚拟机 centos6.8。

项目版本：es版本7.4.0，  jdk版本 1.8。

测试环境改造前

 

目标

将单节点ES扩展成3个主节点4个数据节点的集群。同时需要保障存量数据可以完整进入新集群中。本文章以测试环境为基础先验证。

思路

现有 151(es-m-01)，168(es-m-02)，169(es-m-03)，170(es-s-01)，171(es-s-02)，172(es-s-03)，173(es-s-04) 作为测试机器。

1. 新建一个主节点(169)，将原ES data目录拷贝到新节点中，启动验证是否正常。
2. 新增4个数据节点(170,171,172,173)，设置启动3个节点后同步数据。
3. 启动数据节点，加入es单节点，等待自动同步数据。
4. 动态新增2个主节点(151,168)。
5. 整体停机，更改数据节点配置，设置为3个主节点。
6. 确认主节点加入后，关停原始主节点(169)。
7. 设置主节点数据为不存储。删除data数据。启动主节点。
8. reindex数据，让数据更均匀分布。

环境准备

操作列表

• 下载设置jdk1.8以上
• 将es7.4.0解压放在目录/opt/bssoft/es 下
• 将ik插件（elasticsearch-analysis-ik-7.4.0）放入plugins/
• 更改/etc/security/limits.conf ，追加如下配置

* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096
es soft memlock unlimited
es hard memlock unlimited

• 修改/etc/sysctl.conf

vm.max_map_count=262144

执行  sysctl -p

• 更改/etc/hosts 文件

192.168.1.151 es-m-01
192.168.1.168 es-m-02
192.168.1.169 es-m-03
192.168.1.170 es-s-01
192.168.1.171 es-s-02
192.168.1.172 es-s-03
192.168.1.173 es-s-04
192.168.1.175 es-s-05

• 添加es用户组用户，更改用户

groupadd es
useradd es -g es -p es
#更改es文件目录权限
chown -R es:es es

• 关闭防火墙，或开放9200和9300端