一文读懂Elasticsearch之集群模式搭建

已于 2025-02-19 21:21:44 修改
阅读量1.1k 收藏 16
点赞数 8
分类专栏： Linux系统应用运维 文章标签： elasticsearch 大数据 搜索引擎 运维 elk 全文检索 非关系型数据库
于 2025-02-13 11:52:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/brucelbj/article/details/145590540
版权

目录

一、Elasticsearch集群简介

(一)、基本概念名词

1、Cluster

2、Shards

(二)、总分片数计算

1、3主分片+1副本分片

2、3主分片+2副本分片

二、环境规划

三、集群模式搭建

(一)、主机基本配置

步骤一、修改主机名称

步骤二、修改hosts文件

步骤三、创建elasticsearch用户

步骤四、修改配置文件limits.conf

步骤五、修改配置文件sysctl.conf

步骤六、重启服务器

步骤七、配置节点192.168.110.132、192.168.110.133

(二)、集群节点安装Elasticsearch服务

步骤一、创建安装路径

步骤二、下载Elasticsearch安装包

步骤三、解压Elasticsearch安装包

步骤四、配置使用Elasticsearch自带JDK

步骤五、修改Elasticsearch服务相关路径属主为elasticsearch用户

步骤六、Elasticsearch01节点、Elasticsearch03节点安装Elasticsearch服务

(三)、启动各节点Elasticsearch服务

1、配置Elasticsearch01节点并启动Elasticsearch服务

步骤一、修改Elasticsearch服务配置文件

步骤二、启动Elasticsearch服务

步骤三、查看Elasticsearch集群状态

(1)、查看集群节点

(2)、查看集群状态

2、配置Elasticsearch02节点并启动Elasticsearch服务

 步骤一、修改Elasticsearch服务配置文件

步骤二、启动Elasticsearch服务

步骤三、查看Elasticsearch集群状态

(1)、查看集群节点

(2)、查看集群状态

3、配置Elasticsearch03节点并启动Elasticsearch服务

 步骤一、修改Elasticsearch服务配置文件

步骤二、启动Elasticsearch服务

步骤三、查看Elasticsearch集群状态

(1)、查看集群节点

(2)、查看集群状态

四、Elasticsearch常用命令

(一)、查看集群状态

(二)、查看集群所有节点信息

(三)、查看master节点信息

(四)、查看集群每个节点的分片数

(五)、查看分片状态

1、查看所有索引的分片状态

2、查看指定索引的分片状态

(六)、查看索引信息

1、查看所有索引信息

2、查看指定索引信息

(七)、查看集群文档数量

1、查看集群中所有的文档数量

2、查看指定索引的文档数量

(八)、创建索引

(九)、新增文档数据

(十)、查询文档数据

一、Elasticsearch集群简介

(一)、基本概念名词

1、Cluster

        Cluster代表一个Elasticsearch集群。集群中有多个节点，可以分为主节点与数据节点。其中主节点可以通过选举产生，负责集群状态管理、分片分配管理等工作。数据节点负责保存文档数据，执行数据增、删、改、查等操作。

2、Shards

        Elasticsearch服务为了支持水平扩展和提高容错性，将每个索引的数据分成多个主分片存储。在主分片的基础上，还支持将主分片的副本分片分布在多个节点上，以便在主分片失效时能够快速切换到副本分片上。

  • Primary shards：主分片。当存储一个文档数据时，系统首先存储在主分片中，然后复制到不同的副本。一个索引默认有5个主分片。可以先制定分片的数量，分片确定后不能再修改。

  • Replica shards：副本分片。每一个主分片有零个或多个副本分片。副本分片是主分片的复制，可以 增加高可用性，提高性能。一个主分片默认有一个副本分片，但副本分片的数量可以在后期动态调整。副本分片必须部署在不同的集群节点上，不能部署在与主分片相同的节点上。

(二)、总分片数计算

注意：主分片对应的副本分片不能存放在同一台服务器上。

1、3主分片+1副本分片

即有3个主分片，每个主分片有一个副本分片

总分片数=3主分片+3*1个副本分片 = 6个分片

2、3主分片+2副本分片

即有3个主分片，每个主分片有两个副本分片

总分片数=3主分片+3*2个副本分片 = 9个分片

二、环境规划

  • 集群节点规划
主机IP 主机名称 角色
192.168.110.131 Elasticsearch01 主节点，数据节点
192.168.110.132 Elasticsearch02 数据节点
192.168.110.133 Elasticsearch03 数据节点

  • 系统版本

CentOS Linux release 7.7.1908 (Core)

  • 关闭防火墙

此处为方便演示，直接关闭防火墙。

生产环境可以根据实际需求开通服务器防火墙策略。

systemctl stop firewalld

systemctl stop iptables

  • Elasticsearch版本

此处使用elasticsearch-7.12.1-linux-x86_64版本

三、集群模式搭建

(一)、主机基本配置

此处以配置节点192.168.110.131为例。

步骤一、修改主机名称

[root@Node01 ~]# vim /etc/hostname

加入如下内容：

Elasticsearch01

步骤二、修改hosts文件

[root@Node01 ~]# vim /etc/hosts

加入如下内容：

192.168.110.131 Elasticsearch01
192.168.110.132 Elasticsearch02
192.168.110.133 Elasticsearch03

步骤三、创建elasticsearch用户

  • 创建elasticsearch用户

[root@Node01 ~]# useradd -m -d /home/elasticsearch elasticsearch

  • 修改elasticsearch用户密码

[root@Node01 ~]# passwd elasticsearch

步骤四、修改配置文件limits.conf

  • 修改limits.conf

[root@Node01 ~]# vim /etc/security/limits.conf

加入如下内容：

elasticsearch soft nofile 65535
elasticsearch hard nofile 65535
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
elasticsearch - nproc 65535

  • 切换elasticsearch用户查看是否生效

[root@Node01 ~]# su - elasticsearch
[elasticsearch@Node01 ~]$ ulimit -a

步骤五、修改配置文件sysctl.conf

  • 修改sysctl.conf

[root@Node01 ~]# vim /etc/sysctl.conf

加入如下内容：

vm.max_map_count=262144

  • 执行命令生效

[root@Elasticsearch01 ~]# sysctl -p
vm.max_map_count = 262144

步骤六、重启服务器

[root@Node01 ~]# shutdown -r now

步骤七、配置节点192.168.110.132、192.168.110.133

节点192.168.110.132、192.168.110.133，按照步骤一至步骤四进行配置。

其中：

节点192.168.110.132的主机名称为Elasticsearch02

节点192.168.110.133的主机名称为Elasticsearch03

(二)、集群节点安装Elasticsearch服务

此处以Elasticsearch02节点(192.168.110.132)安装Elasticsearch服务为例。

步骤一、创建安装路径

  • 创建主路径

[root@Elasticsearch02 ~]# mkdir -p /data/Elasticsearch

  • 创建数据路径

[root@Elasticsearch02 ~]# mkdir -p /data/Elasticsearch/esdata

  • 创建日志路径

[root@Elasticsearch02 ~]# mkdir -p /data/Elasticsearch/eslog

步骤二、下载Elasticsearch安装包

[root@Elasticsearch02 ~]# cd /data/Elasticsearch
[root@Elasticsearch02 Elasticsearch]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.12.1-linux-x86_64.tar.gz

步骤三、解压Elasticsearch安装包

[root@Elasticsearch02 ~]# cd /data/Elasticsearch
[root@Elasticsearch02 Elasticsearch]# tar -zxvf elasticsearch-7.12.1-linux-x86_64.tar.gz

步骤四、配置使用Elasticsearch自带JDK

  • 修改profile文件

[root@Elasticsearch02 ~]# vim /etc/profile

在文件最后加入如下内容：

export ESJAVAHOME=/data/Elasticsearch/elasticsearch-7.12.1/jdk

  • 使profile文件生效

[root@Elasticsearch02 ~]# source /etc/profile

步骤五、修改Elasticsearch服务相关路径属主为elasticsearch用户

  • 修改服务安装路径

[root@Elasticsearch02 ~]# chown -R elasticsearch:elasticsearch /data/Elasticsearch/elasticsearch-7.12.1
[root@Elasticsearch02 ~]# ll /data/Elasticsearch/

最低0.47元/天 解锁文章
一文探究数据仓库体系(2.7万字建议收藏)
我的祖传代码
10-19 3256
​ 一什么是数据仓库 1.1数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 1.2数据仓库特点 1.2.1面向主题 普通的操作型数据库主要面向事务性处理，而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象，是从较高层次上对信息系统中的数据进行归纳和整理。 面向主题的数据可以划分成两部分--...
ElasticSearch集群搭建
weixin_46562226的博客
10-24 1727
docker安装es集群
【ES系列五】——集群搭建(多机集群&单机多节点集群)
热门推荐
一直在奋起，一直在路上
12-05 2万+
针对于ES的多机集群和单机多节点的搭建的教程，以及小编最后的总结感受~
ElasticSearch的基本用法与集群搭建
huobaotiandao的博客
12-01 251
一、简介ElasticSearch和Solr都是基于Lucene的搜索引擎，不过ElasticSearch天生支持分布式，而Solr是4.0版本后的SolrCloud才是分布式版本，Solr的分布式支持需要ZooKeeper的支持。这里有一个详细的ElasticSearch和Solr的对比：http://solr-vs-elasticsearch.com/二、基本用法集群（Cluster）： ES是
Elasticsearch 集群搭建
最新发布
qq_33807380的博客
04-09 1817
可以使用docker 依次启动多个节点，也可以使用Docker Compose一次启动全部节点。Elasticsearch 8.x 默认启用安全功能。首次启动容器时，控制台会输出默认密码。在创建索引的时候，在 settings 中进行分片及副本数量设置。使用 Docker Compose 一次启动。设置监控告警（如 Watcher）：、docker 依次启动。
Elasticsearch集群搭建
weixin_41487487的博客
03-10 3145
目录 WIndow集群 Linux集群 单点部署 集群部署 ES优化 硬件选择 分片策略 推迟分片分配 路由选择 写入速度优化 批量数据提交 优化存储设备 合理使用合并 减少Refresh的次数 加大Flush设置 减少副本的数量 内存设置 重要配置 WIndow集群 创建elasticsearch-cluster文件夹，在内部复制三个elasticsearch服务 修改集群文件目录下每个节点的config/elasticsearch.yml配置文件
ElasticSearch 集群
wssboke的博客
07-15 1011
一、ElasticSearch 集群 1.1 搭建集群 Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无法获取集群中的节点信息。 由于，我们使用只有一台虚拟机，所以我们在虚拟机中安装三个ES实例，搭建伪集群，而ES启动比较耗内存，所以先设置虚拟机的内存3G和CPU个数4个
ElasticSearch集群的搭建
zhiyikeji的博客
02-07 3139
ES集群是一个P2P类型(使用 gossip 协议)的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。在 Elasticsearch 2.0 之前，无阻碍的网络下，所有配置了相同 cluster.name 的节点都自动归属到一个集群中。pretty进行查看。当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行 搜索和其他操作。
带你一文读懂【AI实战】手把手教你深度学习文字识别（文字检测篇：基于MSER, CTPN, SegLink, EAST等方法）
weixin_41663412的博客
03-12 689
个人博客导航页（点击右侧链接即可打开个人博客）：大牛带你入门技术栈 文字检测是文字识别过程中的一个非常重要的环节，文字检测的主要目标是将图片中的文字区域位置检测出来，以便于进行后面的文字识别，只有找到了文本所在区域，才能对其内容进行识别。 文字检测的场景主要分为两种，一种是简单场景，另一种是复杂场景。其中，简单场景的文字检测较为简单，例如像书本扫描、屏幕截图、或者清晰度高、规整的照片等；...
2024Java零基础自学路线（Java基础、Java高并发、MySQL、Spring、Redis、设计模式、Spring Cloud）
ekskef_sef的博客
02-08 1187
所谓基础不牢，地动山摇。有一个好的基础，才是Java学习的关键。Java技术栈的东西还是非常多的，下面分享一下学习大纲。现在网上的学习资料铺天盖地，很多小伙伴不知道如何选择。今天，我来分享一下我自己的学习路线和学习方法。我跌倒的坑，希望大家一脚就能跨过去。
java架构师进阶之路
henhenha的博客
03-30 5300
包含了计算机基础、算法和数据结构、常用工具、java核心知识、性能优化、基础框架、数据库、消息队列、缓存中间件、搜索引擎、大数据、RPC、网关、容器、面试等知识
1.Elasticsearch集群搭建
wang37444的专栏
05-08 487
1.Elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 2.下载安装包 这里我们下载的是ela...
elasticsearch 集群的搭建
taizhen/blog
06-23 651
1. 首先要确定每台linux 主机的防火墙以关闭了。可以通过 service iptables  stop  命令来关闭防火墙。 2. 要坚持这个原则，在es的config 下的配置文件xxx.yml 文件最好不要有太多的改动。即使改动也要在配置文件的基础上改动，意思是比如（es配置一部分） # The default list of hosts is ["127.0.0.1", "
搭建 Elasticsearch 集群
a13568hki的博客
11-03 278
怎样搭建 Elasticsearch 6.5.4集群 1-1、准备环境 采用三台CentOS6.5部署Elasticsearch集群，部署Elasticsearch集群就不得不提索引分片，以下是索引分片的简单介绍。 系统 节点名称 IP地址 centos 6.5 els-node1 192.168.60.201 centos 6.5 els-node2 192.168.60.201 centos 6.5 els-node3 192.168.60.201 ES集群中索引可能由多个分
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

野熊佩骑

您的鼓励是我持续创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值