Elasticsearch环境搭建|ES单机|ES单节点模式启动|ES集群搭建|ES集群环境搭建

已于 2024-06-27 14:12:11 修改
阅读量5k 收藏 29
点赞数 32
分类专栏： Elasticsearch 文章标签： elasticsearch 大数据 java 搜索引擎
于 2024-06-27 00:24:54 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/qq_28727015/article/details/139999603
版权

文章目录

版本选择

在[ElasticSearch]分析京东商城商品搜索实现|聚合|全文查找|搜索引擎|ES Java High Level Rest Client|ES Java API Client这篇文章里进行了说明，使用的7.17.3版本，不再赘述。

单机ES安装与配置

创建非root用户

ES不允许root用户运行，使用root用户为其创建一个用户es，为用户es配置密码，并切换到es用户。

adduser es
passwd es
su es

导入安装包

将下载好的Elasticsearch，Kibana导入到es用户home目录

[es@polaris ~]$ cd ~
[es@polaris ~]$ pwd
/home/es
[es@polaris ~]$ ls        
kibana-7.17.3-linux-x86_64.tar.gz              
elasticsearch-7.17.3-linux-x86_64.tar.gz

安装包解压

tar -zxvf elasticsearch-7.17.3-linux-x86_64.tar.gz
tar -zxvf kibana-7.17.3-linux-x86_64.tar.gz

配置JDK环境变量

当前还在用户home目录下，
添加两行(ES7.x及以后版本内置了jdk)

export ES_JAVA_HOME=/home/es/elasticsearch-7.17.3/jdk
export ES_HOME=/home/es/elasticsearch-7.17.3

[es@polaris ~]$ vim .bash_profile 

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

export ES_JAVA_HOME=/home/es/elasticsearch-7.17.3/jdk
export ES_HOME=/home/es/elasticsearch-7.17.3

PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

执行以下命令，使之生效。(之后使用es用户开启一个终端会话（参考：ES环境变量设置的问题，分析用户级环境变量设置与读取，报错分析与解决⚠️ usage of JAVA_HOME is deprecated, use ES_JAVA_HOME），该环境变量配置就会是生效的)

source .bash_profile

配置single-node

切换到es目录

cd elasticsearch-7.17.3/

# 0. 备份一下原配置文件
cp config/elasticsearch.yml config/elasticsearch.yml.origin
# 修改配置
vim config/elasticsearch.yml
# 1. 开启远程访问，监听所有网卡，可以在虚拟机外部如win主机上访问  
network.host: 0.0.0.0
# 2. 单节点模式
discovery.type: single-node

配置JVM参数

官方建议：将 Xms 和 Xmx 设置为不超过总内存的 50%。 Elasticsearch 需要内存用于 JVM堆以外的用途。例如，Elasticsearch 使用堆外缓冲区来实现高效的网络通信，并依赖操作系统的文件系统缓存来高效地访问文件。 JVM本身也需要一些内存。Elasticsearch 使用的内存多于 Xmx 设置配置的限制是正常的。

机器情况：CPU 4核8线程，内存16GB，打算搭三节点集群演示，主机上还会运行一些东西，因此为每个虚拟机分配了2GB的内存，处理器数量2个，单个处理器内核数量设置为了2个，处理器内核总数为4

虚拟机内存2GB，堆内存设置不超过50%，这里设置1GB

# 0. 备份一下原配置文件
cp config/jvm.options config/jvm.options.origin
# 修改堆内存
vim config/jvm.option

-Xms1g
-Xmx1g

后台启动|启动日志查看

后台启动可以保证启动成功后，当前会话断开，es还是在运行，不会随着终端会话关闭而终止。

bin/elasticsearch -d

如果启动有问题可以查看es启动日志

tail -f logs/elasticsearch.log

启动成功，访问

终端访问

在这里插入图片描述

浏览器访问

如果浏览器访问不通，那么可以关闭防火墙简化操作，
云服务器的话可以通过配置安全组规则，进行端口映射，开放端口（参考：添加安全组规则）

在这里插入图片描述

这样单节点的es就可以正常工作，之后通过修改配置把他加入到集群。

Kibana安装

Kibana是官方提供的ES一个客户端连接工具。
只在一台虚拟机上安装即可（或者win主机上安装一个都行），注意修改配置，使之能够访问到es（单机或集群），以及可以对外提供服务（Kibana对外能够被访问）。
这里是在虚拟机上安装。

修改配置

cd ~/kibana-7.17.3-linux-x86_64/
#备份一个源文件
cp config/kibana.yml config/kibana.yml.origin
#修改配置
vim config/kibana.yml

#指定Kibana服务器监听的端口号
server.port: 5601    
#开启远程访问，监听所有网卡，可以在虚拟机外部如win主机上访问  
server.host: "0.0.0.0"    
#指定Kibana连接到的ES实例的访问地址，
#如果访问本地的ES(Kibana与ES安装在同一台服务器上)就是localhost，访问其他的换成ip
#集群的话就配上所有的节点elasticsearch.hosts: ["http://192.168.43.69:9200", "http://192.168.43.133:9200", "http://192.168.43.225:9200"]
elasticsearch.hosts: ["http://localhost:9200"]  
#将 Kibana 的界面语言设置为简体中文。默认en
i18n.locale: "zh-CN"

后台启动|启动日志查看

后台启动可以保证启动成功后，当前会话断开，kibana还是在运行，不会随着终端会话关闭而终止。

nohup bin/kibana &

如果启动有问题可以查看Kibana启动日志

tail -f nohup.out

浏览器访问

win主机浏览器访问机器ip+“:”+port(5601)，

http://192.168.43.69:5601/

到此，Elasticsearch环境及客户端Kibana就安装配置完成。

在这里插入图片描述

这里查看到的节点ip是192.168.25.74而不是我们访问的机器ip 192.168.43.69，是有问题的（正常情况是不会有这个问题的）。这个问题的原因参考：[ES] ElasticSearch节点加入集群失败经历分析主节点选举、ES网络配置 [publish_address不是当前机器ip]

下面说明ES集群搭建方法。

ES三节点集群搭建

可以把刚才的虚拟机克隆出额外的两个，也可以在额外的两个虚拟机上重复上面es的安装过程（Kibana不需要再装了，它只是个es连接工具，装一个就行了）

停止es服务

#查看es进程
ps -ef|grep elasticsearch
#停止es运行
kill pid #pid是上面命令查出来的进程号

域名配置

三台机器都切换root用户，配置机器ip与域名对应关系，用于在服务发现时，集群内的各节点通过这个域名彼此可以找到彼此。

su
vim /etc/hosts

192.168.43.69 es-node1
192.168.43.133 es-node2
192.168.43.225 es-node3

之后再切换回es用户

su es

配置修改

注释掉单节点

#注释掉单节点
#discovery.type: single-node

集群配置

注意：数据目录日志目录单独指定，要和之前单机启动区别开

配置说明

  • cluster.name：集群名称，指定一个（避免因未指定，启动一个es就会加入到集群中），配置好其他属性，然后集群同名才可加入到这个集群中。
  • node.name：节点名字，集群内唯一
  • node.master：是否有资格为master节点，默认为true，表示这个节点有资格成为主节点（master node）。主节点主要负责集群级别的操作，如创建或删除索引、跟踪集群中哪些节点是活动的等。
  • node.data：是否为data数据节点，默认为true，表示这个节点也是一个数据节点（data node），它会存储索引数据并处理搜索请求。
  • http.cors.enabled: true：允许跨源资源共享（CORS）。当你想从另一个域的网页或应用访问这个Elasticsearch节点时，CORS允许这样的请求
  • http.cors.allow-origin: “*” : 允许来自任何域的CORS请求。但出于安全考虑，通常不建议在生产环境中使用*，而是指定特定的域名。
  • path.data：定义了Elasticsearch用于存储索引数据的路径。
  • path.logs：定义了Elasticsearch存储其日志文件的路径。
  • network.host: 0.0.0.0：告诉Elasticsearch监听所有可用的网络接口。但在生产环境中，为了安全起见，通常会指定特定的IP地址或范围。
  • discovery.seed_hosts：定义了Elasticsearch在启动时用于发现其他集群成员的初始主机列表。可以通过es-node1、es-node2和es-node3这些主机域名或IP地址来访问其他节点。(上面配置了域名与机器ip的映射关系，因此可以使用机器域名)
  • cluster.initial_master_nodes：在Elasticsearch第一次启动时，需要指定哪些节点应该成为主节点（指定node.name指定的节点名字列表）。

配置节点1

vim config/elasticsearch.yml
# node-1
cluster.name: es-cluster

node.name: node-1
node.master: true
node.data: true


http.cors.enabled: true
http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster
path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

配置节点2

vim config/elasticsearch.yml
# node-2
cluster.name: es-cluster

node.name: node-2
node.master: true
node.data: true


http.cors.enabled: true
http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster
path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

配置节点3

vim config/elasticsearch.yml
# node-3
cluster.name: es-cluster

node.name: node-3
node.master: true
node.data: true

http.cors.enabled: true
http.cors.allow-origin: "*"

path.data: /home/es/elasticsearch-7.17.3/data-cluster

path.logs: /home/es/elasticsearch-7.17.3/logs-cluster

network.host: 0.0.0.0

discovery.seed_hosts: ["es-node1","es-node2","es-node3"]
cluster.initial_master_nodes: ["node-1", "node-2","node-3"]

分别启动

bin/elasticsearch -d

验证集群搭建成功

在这里插入图片描述

Kibana配置修改

集群搭建成功，更改kibana的配置中的ES instances地址

elasticsearch.hosts: ["http://192.168.43.6:9200", "http://192.168.43.133:9200", "http://192.168.43.225:9200"]

重启Kibana

查看进程

netstat -tunlp|grep 5601

[es@polaris kibana-7.17.3-linux-x86_64]$ netstat -tunlp|grep 5601
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
tcp        0      0 0.0.0.0:5601            0.0.0.0:*               LISTEN      7379/bin/../node/bi

停止Kibana服务

kill 7379

启动Kibana

nohup bin/kibana &

验证

在这里插入图片描述

ES开启认证

参考：Elasticsearch开启认证|为ES设置账号密码|ES账号密码设置|ES单机开启认证|ES集群开启认证

ElasticSearch 的集群部署环境搭建
javaMov的专栏
08-26 2447
ElasticSearch 的集群部署环境搭建
快速学习-ElasticaSearch6.2.1集群管理
逍遥云恋
01-07 455
8 集群管理 8.1 集群结构 ES通常以集群方式工作，这样做不仅能够提高 ES的搜索能力还可以处理大数据搜索的能力，同时也增加了系统的 容错能力及高可用，ES可以实现PB级数据的搜索。 下图是ES集群结构的示意图： 从上图总结以下概念： 1、结点 ES集群由多个服务器组成，每个服务器即为一个Node结点(该服务只部署了一个ES进程)。 2、分片 当我们的文档量很大时，由于内存和硬盘的限制，同时...
elasticsearch单机部署
最新发布
weixin_48208008的博客
04-18 372
10、进入elasticsearch的conf目录配置elastisearch.yml。11、进入kibana的conf配置kibana.yml文件。
Elasticsearch环境搭建
Zephyrzh的博客，关注【凡登】成为大厂技术人
04-20 7370
本文主要介绍在Linux系统下搭建Elasticsearch运行环境相关内容.受限于篇幅本次主要介绍elasticsearch单集群单节点单实例、单集群单节点多实例、单集群多节点单实例环境搭建。ES环境搭建概要参见脑图： 版本说明： LinuxCentOS7.964 bitElasticsearch-7.13.4openjdk-16+36_linux-x64 一、【单集群单节点单实例】 1、快速安装elasticsearch ...
Elaticsearch环境搭建
weixin_43885929的博客
01-10 1015
1.进入Elasticsearch 官网 https://www.elastic.co/我们采用离线安装的方式，提前将es包下载好。3.选择对应的操作系统并开始下载。4.最终得到一个es的压缩包。
Elasticsearch 环境搭建
Wolf_xujie的博客
08-24 782
Elasticsearch 环境搭建
搭建 es 集群
weixin_59367598的博客
03-18 3698
elasticsearch 集群搭建
什么是 Elasticsearch
weixin_34414196的博客
12-05 257
2019独角兽企业重金招聘Python工程师标准>>> ...
elasticsearch 环境搭建
snanianxiatian的博客
08-20 260
1.首先在linux虚拟机配置java环境 1> 首先在虚拟机中 java -version，可以看到 1> 去oracle 官网去下载jdk ，然后上传到虚拟机上，解压， 将解压后的文件重名为java mv jdk1.8.0_251 java 2> 配置环境变量 vim /etc/profile ，在最后面加上 JAVA_HOME=/usr/local/java/ JRE_HOME=/usr/local/java/jre CLASS_PATH=.:$JAVA_HOME/
Elasticsearch 实战之一：环境搭建
akenseren的博客
10-03 2033
Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库—​无论是开源还是私有。但是 Lucene 仅仅只是一个库。为了充分发挥其功能，你需要使用 Java 并将 Lucene 直接集成到应用程序中。更糟糕的是，您可能需要获得信息检索学位才能了解其工作原理。Lucene 非常 复杂。
elasticsearch--环境搭建
m0_67400973的博客
08-16 207
master=true，data=false:仅是主结点，不存储数据 master=false，data=false:即不是主结点也不是数据结点，此时可设置ingest为true表示它是一个客户端。ES通常以集群方式工作，这样做不仅能够提高 ES的搜索能力还可以处理大数据搜索的能力，同时也增加了系统的 容错能力及高可用，ES可以实现PB级数据的搜索。一个集群中会有一个或多个主结点，主结点的作用是集群管理，比如增加节点，移除节点等，主结点挂掉后ES会重新选一个主结点。...
ElasticSearch环境简单搭建
sl8023dxf的专栏
09-02 192
ElasticSearch环境简单搭建 本文以7.10.2为例，其他版本应该也差不多。平台为windows，至于linux，配置应该是一样。至于下载，此处不作赘述。另外老版本的ElasticSearch安装包里面是不带JDK，需要自己安装JDK，但是从不知道从那个版本开始，已经自带JDK，所以解压即可使用。 解压一个自己想放入的位置 例如：D:\elasticsearch-7.10.2 如果要启用用户名密码认证，则修改config目录下的elasticsearch.yml文件，再末尾添加如下配置：
ElasticSearch入门——环境搭建
SK_Jaco的博客
07-17 1217
文章目录一、ElasticSearch环境搭建1.解压2.修改配置(1)jvm.options(2)elasticsearch.yml3.启动ES(1)新增用户并授权(2)启动es(3)验证启动是否成功二、elasticsearch-head插件安装1.安装node.js2.安装elasticsearch-head3.运行elasticsearch-head三、ik分词器添加1.添加ik分词器插件2.测试分词器是否安装成功四、遇到的坑1.不能用root用户启动2.文件权限不够3.启动日志报错4.安装head
ElasticSearch — 集群搭建
weixin_30922589的博客
12-05 115
1.es需要java环境，故先检查java环境是否正常 2.下载elasticsearch安装包 http://www.elasticsearch.org/download/目前最新版本到1.4.0,Linux下载es命令: wgethttps://download.elasticsearch.org/elasticsearch/elasticsearch/elastics...
es集群搭建
weixin_30352191的博客
09-06 311
1、复制5份es，版本要相同，且各个节点上jdk版本也要相同，否则会报数据同步格式不一致 invalid internal transport message format。 2、配置elasticsearch.yml，主要修改以下方面： 　　cluster.name: my-application #集群名，各个节点要一致 　　node.name: node-01 ...
Elasticsearch搭建
m0_67265464的博客
08-16 988
方法1：配置文件中添加jdk判断（将JAVA_HOME改为ES_JAVA_HOME）异机需要创建镜像仓库和复制一份文件到仓库底下。解决方法：优化（只给结果，想了解自行百度）方法2：在环境变量中添加es自带的jdk。-d 是将要修改成的密码。创建密码（最少6位）...
ES集群搭建
weixin_37714753的博客
05-31 984
ES集群搭建 一、安装软件准备 系统：Centos7-2003 软件版本：JDK15.x、ES7.11.X。 官方下载地址： https://www.elastic.co/cn/downloads/ 社区镜像下载 http://dl.elasticsearch.cn/ 华为镜像下载 https://mirrors.huaweicloud.com/ Docker容器下载 可选择ES官方镜像或者国内阿里云/网易等镜像 二、操作系统设置 生产环境必须部署在Linux，并需要一些系统配置才可生效。个人环境可以选择W
es集群搭建和启动
03-09
<think>嗯，用户想了解如何搭建和启动Elasticsearch集群。我需要先理清楚步骤，确保覆盖所有关键点。首先，我应该从准备工作开始，比如环境准备和节点规划。用户可能对Elasticsearch的基本概念不太熟悉，所以得解释一下集群、节点、分片这些术语。 接下来，安装Elasticsearch。可能需要说明不同操作系统下的安装方法，比如用apt-get或者手动下载。配置环节很重要，每个节点的设置需要详细说明，比如节点名称、网络地址、集群名称、发现和选举设置。用户可能会遇到配置错误，所以要提醒他们注意参数的正确性，比如discovery.seed_hosts的正确格式。 然后，启动集群的步骤。需要分节点启动，强调检查日志的重要性，以及如何验证集群状态。这里可能需要介绍curl命令和_cat API的使用方法。如果用户是新手，可能不知道如何查看节点状态，所以给出具体的命令示例会很有帮助。 安全方面也不能忽视，尤其是生产环境。需要提到设置密码、HTTPS和防火墙规则。可能用户会忽略安全配置，导致集群暴露在风险中，所以得提醒他们这些步骤的重要性。 最后，维护和优化的部分。监控工具如Elasticsearch Head或Cerebro的使用，分片分配的策略，备份恢复的方法，这些都能帮助用户更好地管理集群。可能用户在实际操作中会遇到性能问题，所以优化建议是必要的。 还要考虑用户的实际场景，他们可能是在测试环境还是生产环境搭建集群。如果是测试环境，可能只需要单节点多个实例，而生产环境需要多节点和高可用性配置。需要区分这些情况，给出不同的建议。 用户的问题中没有提到版本问题，但不同版本的Elasticsearch配置可能有差异，特别是7.0之后的版本默认启用bootstrap.memory_lock，可能需要特别说明。此外，系统配置如vm.max_map_count的设置，在Linux系统中容易出错，需要强调修改方法。 总结下来，回答需要结构清晰，分步骤讲解，同时包含必要的注意事项和常见问题处理。确保用户按照步骤操作时不会遗漏关键配置，遇到问题能够找到解决方法。语言要简洁明了，避免使用过于专业的术语，或者在使用时进行解释，让新手也能理解。</think>好的！以下是Elasticsearch（ES）集群搭建与启动的逐步说明： --- ### 一、基础概念 1. **集群（Cluster）**：多个ES节点组成的分布式系统 2. **节点（Node）**：单个ES实例，分为主节点（Master）、数据节点（Data）、协调节点（Coordinating）等角色 3. **分片（Shard）**：索引数据的存储单元，分为主分片（Primary）和副本分片（Replica） --- ### 二、搭建步骤 #### 1. 环境准备 - **操作系统**：Linux（推荐CentOS/Ubuntu） - **Java**：JDK 11+（ES 7.0+要求） - **硬件要求**： - 内存：至少4GB（生产环境建议16GB+） - 磁盘：SSD最佳 - 文件描述符：`ulimit -n 65535` #### 2. 节点规划 ```bash # 示例集群（3节点）： 节点1：192.168.1.10 （主节点 + 数据节点） 节点2：192.168.1.11 （数据节点） 节点3：192.168.1.12 （协调节点） ``` #### 3. 安装ES ```bash # 以Ubuntu为例 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.5.3-linux-x86_64.tar.gz tar -zxvf elasticsearch-8.5.3-linux-x86_64.tar.gz mv elasticsearch-8.5.3 /usr/local/elasticsearch ``` #### 4. 配置节点 修改`config/elasticsearch.yml`： ```yaml # 节点1配置 cluster.name: my-es-cluster node.name: node-1 node.roles: [master, data] # 主节点+数据节点 network.host: 192.168.1.10 discovery.seed_hosts: ["192.168.1.10", "192.168.1.11", "192.168.1.12"] cluster.initial_master_nodes: ["node-1"] ``` ```yaml # 节点2配置 node.name: node-2 node.roles: [data] # 纯数据节点 network.host: 192.168.1.11 ``` ```yaml # 节点3配置 node.name: node-3 node.roles: [] # 默认协调节点 network.host: 192.168.1.12 ``` #### 5. 系统配置 ```bash # 修改内核参数（所有节点） sudo sysctl -w vm.max_map_count=262144 echo "vm.max_map_count=262144" >> /etc/sysctl.conf ``` --- ### 三、启动集群 1. **逐个启动节点**： ```bash cd /usr/local/elasticsearch ./bin/elasticsearch -d # -d表示后台运行 ``` 2. **验证启动状态**： ```bash curl -XGET 'http://192.168.1.10:9200/_cat/nodes?v' ``` 3. **预期输出**： ``` ip heap.percent ram.percent cpu load node.role master name 192.168.1.10 35 95 3 0.45 dim * node-1 192.168.1.11 28 93 2 0.32 d - node-2 192.168.1.12 22 89 1 0.12 - - node-3 ``` --- ### 四、安全配置（生产环境必做） 1. **启用安全功能**（在`elasticsearch.yml`中）： ```yaml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true ``` 2. **设置密码**： ```bash ./bin/elasticsearch-setup-passwords auto # 自动生成密码 ``` --- ### 五、常见问题处理 1. **节点无法加入集群**： - 检查`discovery.seed_hosts`配置 - 确认防火墙开放端口（默认9200/9300） 2. **脑裂问题**： - 配置`discovery.zen.minimum_master_nodes: (N/2)+1`（7.x之前版本） - 8.x版本已自动优化选举机制 3. **内存不足**： - 修改`config/jvm.options`： ```bash -Xms4g # 最小内存 -Xmx4g # 最大内存（不超过物理内存50%） ``` --- ### 六、维护建议 1. **监控工具**： - Kibana Monitoring - Cerebro（第三方管理工具） 2. **定期备份**： - 使用快照（Snapshot）到共享存储（NFS/S3） 3. **滚动升级**： - 逐个节点停机更新，确保集群高可用 --- 按照以上步骤操作，即可完成ES集群的搭建与启动。实际部署时请根据硬件资源和业务需求调整节点角色与配置参数。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值