ELK之路第一步——Elasticsearch集群的搭建以及踩坑记录

一颗知足的心

已于 2024-10-29 14:44:57 修改

阅读量1.5k

点赞数 16

文章标签： elk elasticsearch 1024程序员节

于 2024-10-23 15:30:16 首次发布

本文链接：https://blog.youkuaiyun.com/StreamlineWq/article/details/143178500

版权

elasticSearch集群

前言
一、架构
二、下载
三、虚拟机相关设置
四、Elasticsearch配置文件修改
五、启动
六、启动报错
七、设置密码
八、可视化界面cerebro

前言

Elk（Elasticsearch, Logstash, Kibana），一套分布式日志收集、存储和展示方案。
本来满怀信心开始学习这个系列，但是发现它并没有那么简单，所以打算从地基开始，一步步盖楼，从而达到目的，本文是ELK系列的第一篇。因为jdk版本的原因，本文Elasticsearch版本为：7.3.0,需要jdk11

一、架构

我打算用三台虚拟机来实现集群，一台master，两台数据节点。IP和Node名字分别为：
172.16.72.130 node-1
172.16.72.133 node-2
172.16.72.134 node-3

PS:接下来的操作，三台虚拟机操作都是一样的，我拿一台举例，其他两台照着做就行

二、下载

选择一个位置下载，我这里创建的是/usr/local/es目录

去官网下载：https://www.elastic.co/cn/downloads/past-releases#elasticsearch，需要梯子，而且速度有点慢
第二个就是选择国内镜像，我这里选华为的

wget https://mirrors.huaweicloud.com/elasticsearch/7.3.0/elasticsearch-7.3.0-linux-x86_64.tar.gz
wget https://mirrors.huaweicloud.com/elasticsearch/7.3.0/elasticsearch-7.3.0-linux-x86_64.tar.gz.sha512

解压

tar -zxvf elasticsearch-7.3.0-linux-x86_64.tar.gz

三、虚拟机相关设置

3.1 创建es用户

elasticSearch不允许使用root用户启动，不然会报错

用root用户执行：

//创建es用户
useradd es
//为es用户设置密码，这很重要
passwd es es

3.2 为建es用户赋权sudo

如果没有sudo命令的，安装：yum install sudo -y
root用户执行

vim etc/sudoers

打开是这样的，我截取了部分，找到root ALL=(ALL) ALL这一行，跟在它下面复制一行，添加
es ALL=(ALL) ALL，其中es就是我们3.1新建的用户名。

## Next comes the main part: which users can run what software on 
## which machines (the sudoers file can be shared between multiple
## systems).
## Syntax:
##
##      user    MACHINE=COMMANDS
##
## The COMMANDS section may have other options added to it.
##
## Allow root to run any commands anywhere 
root    ALL=(ALL)       ALL
es    ALL=(ALL)     ALL

3.3 更换es目录所属用户

cd到解压目录

/usr/local/es/elasticsearch-7.3.0

递归更改elasticsearch-7.3.0下所有文件所属为es

chown -R es /usr/local/es/elasticsearch-7.3.0

在这里插入图片描述

四、Elasticsearch配置文件修改

本小节所有操作都用root用户，当然也可以切换到es，但是这样每个操作都要加sudo非常麻烦，我们启动的时候再切换用户就好。

4.1 修改elasticsearch.yml

进入config目录，先备份以前的

cp elasticsearch.yml elasticsearch.yml.bak

编辑

vim elasticsearch.yml

因为我们是三台集群，为了方便，我就把三台机器的配置全部放在这一起了，大家后面分开复制各自的就行了。
重点讲一下：http.port是你访问网页的时候的端口，transport.tcp.port是节点通信间的端口，如果你在一台机器上部署两个节点，记得端口不能一样，下面discovery.seed_hosts也要用节点通信端口。

# node-1
cluster.name: elk-cluster
node.name: node-1
node.master: true
node.data: false
node.ingest: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]
cluster.initial_master_nodes: ["node-1"]

#node-2
cluster.name: elk-cluster
node.name: node-2
node.master: true
node.data: true
node.ingest: false
network.host: 0.0.0.0
##节点间通信端口
http.port: 9300
transport.tcp.port: 
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]

#node-3
cluster.name: elk-cluster
node.name: node-3
node.master: true
node.data: true
node.ingest: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: ["172.16.72.130:9300","172.16.72.133:9300","172.16.72.134:9300"]

4.2 修改jvm.options

修改启动内存：
```
vim jvm.options
```
这里主要修改启动内存，默认是4g，我这里改成256m，这个根据你自己服务器硬件来定
-Xms256m
-Xmx256m
修改gc，在GC configuration这一行下面
修改为G1GC，因为我用的jdk11。
```
-XX:+UseG1GC
```
不修改会报错：
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.

4.3 修改jdk路径

Elasticsearch是自带jdk的，但是大多数，我们的开发环境中已经有了jdk，我们cd到bin目录下

vim elasticsearch-env

来看看这个是怎么判断es是怎么判定自带的jdk和我们自己的jdk的

# now set the classpath
ES_CLASSPATH="$ES_HOME/lib/*"

# now set the path to java
if [ ! -z "$JAVA_HOME" ]; then
  JAVA="$JAVA_HOME/bin/java"
else
  if [ "$(uname -s)" = "Darwin" ]; then
    # OSX has a different structure
    JAVA="$ES_HOME/jdk/Contents/Home/bin/java"
  else
    JAVA="$ES_HOME/jdk/bin/java"
  fi
fi

通过脚本得知，es会先去找我们系统的jdk，如果没找到，就会用自己的jdk路径，也就是$ES_HOME下面的
修改为：

 if [ "$(uname -s)" = "Darwin" ]; then
   # macOS has a different structure
   JAVA="$ES_HOME/jdk.app/Contents/Home/bin/java"
 else
   JAVA="$ES_HOME/jdk/bin/java"
 fi
 JAVA_TYPE="bundled jdk"

如果上面办法不行，用下面这个办法，修改bin下的elasticsearch文件，在第二行位置添加如下内容：
JAVA_HOME就是你jdk的位置。

export JAVA_HOME=/***
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

五、启动

1.切换用户

su es

2.开放端口

# 放行9200端口和9300端口，不放行9300端口，节点间无法通信，集群还是搭建不起来
firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --zone=public --add-port=9300/tcp --permanent
# 重新加载防火墙
firewall-cmd --reload

2.cd到bin目录下，后台启动

./elasticsearch -d

3.浏览器访问
http://172.16.72.130:9200/
我访问了两个，可以看到集群已经搭建好了
在这里插入图片描述

六、启动报错

No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender
你没有切换用户，用root启动的，然后切换到es再启动就会报错，因为用root启动将文件的所属权变了，你需要重新执行chown来更改为es
max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
```
echo "vm.max_map_count=262144" > /etc/sysctl.conf
sysctl -p
```

max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]

sudo vim /etc/security/limits.conf
# 加入以下内容
* soft nofile 300000
* hard nofile 300000
* soft nproc 102400
* soft memlock unlimited
* hard memlock unlimited

Caused by: java.lang.RuntimeException: can not run elasticsearch as root
你用root用户启动了，切换为es，执行 su es
ElasticSearch–warning: usage of JAVA_HOME is deprecated, use ES_JAVA_HOME
或者
warning: ignoring JAVA_HOME=C:\Program Files\Java\jdk1.8.0_191； using bundled JDK
4.3节提到的，es自带jdk和本身jdk冲突的问题，解决了就不会报错了
一些权限问题
记得用chown切换用户，如果还是不行用chmod 755 来赋权，特别是日志问价你的读写权
with the same id but is a different node instance];
这是你用一台机器搭建两个节点的时候，copy包的时候导致重复了，建议保留一个节点的目录，另一个重新解压

七、设置密码

停止已经启动的es，编辑配置文件elasticsearch.yml，加入以下配置

http.cors.allow-headers: Authorization
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true

生成证书
由于我们是集群配置，不是单机，所以要复杂一点，节点间的通信需要证书，常用的是p12证书，如果你是集群状态用单节点的设置密码方式，会设置失败并且报错，这点请切记。
```
bin/elasticsearch-certutil ca
bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
```
第一行命令，需要我们输入一个密码，这个密码请牢记
第二行命令执行的时候，这里有一个坑，我们输入上一步生成的CA证书密码，然后坑在第二步2，如果我们这里输入了密码，就可以跳转到第三点看怎么解决坑了，如果没有设置直接回车跳过，那就没事。
```
Enter password for CA (elastic-stack-ca.p12) : # 输入上一步生成的CA证书的密码，回车
Please enter the desired output file [elastic-certificates.p12]: # p12文件名使用默认就可以，直接回车
Enter password for elastic-certificates.p12 :  # 此处让输入一个p12文件密码，可以留空 此处有坑，切记 
```

上一步如果设置了密码，还需要执行下面的命令，这里坑反正我帮你们踩了

elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password
elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

这点很关键，如果没有这两行命令，es都启动不了。

copy证书
我项目三台集群，我在主节点生成了证书，会在我们的目录下面出现一个叫elastic-certificates.p12的文件，大家把这个文件分别copy到其他节点下面的config目录下，这个目录你随意，到config只是方便修改配置文件
修改配置文件
打开config目录下的elasticsearch.yml，添加如下几行
通过名字我们就能看出，这是transport之间的ssl安全设置，也就是节点间通讯验证，这个path，因为我们把证书放在了config目录下面，和elasticsearch.yml平级，所以不需要给定额外目录。
```
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
```

设置密码
上面证书都弄好后，我们才可以执行下面的语句生成密码

bin/elasticsearch-setup-passwords interactive

因为需要设置 elastic，apm_system，kibana，kibana_system，logstash_system，beats_system，remote_monitoring_user 这些用户的密码，然后就会出现下面一堆东西，依次设置就行：

[es@docker bin]$ ./elasticsearch-setup-passwords interactive
Initiating the setup of passwords for reserved users elastic,apm_system,kibana,logstash_system,beats_system,remote_monitoring_user.
You will be prompted to enter passwords as the process progresses.
Please confirm that you would like to continue [y/N]y

Enter password for [elastic]: 
Reenter password for [elastic]: 
Enter password for [apm_system]: 
Reenter password for [apm_system]: 
Enter password for [kibana]: 
Reenter password for [kibana]: 
Enter password for [logstash_system]: 
Reenter password for [logstash_system]: 
Enter password for [beats_system]: 
Reenter password for [beats_system]: 
Enter password for [remote_monitoring_user]: 
Reenter password for [remote_monitoring_user]: 
Changed password for user [apm_system]
Changed password for user [kibana]
Changed password for user [logstash_system]
Changed password for user [beats_system]
Changed password for user [remote_monitoring_user]
Changed password for user [elastic]

后面打印出一串Changed password的时候，就说明设置成功了。

浏览器重新访问，就会有密码弹窗了，用户名是默认的elastic，密码就输入我们第六步设置的密码就可以登录了。
这个密码主节点设置一次，所有集群节点通用哈，就不需要在集群其他节点设置了，只要上面证书拷贝了就行。

在这里插入图片描述

八、可视化界面cerebro

es的集群肯定需要一个可视化界面来管控，我这里用的是cerebro，当然你也可以用Elasticsearch-head，不过Elasticsearch-head太老了，界面又难看，这个你随意。

进入GitHub官网：https://github.com/lmenezes/cerebro/releases，选择最新版本的v0.9.4，cerebro也好久没更新了，不过能用就行。
解压后启动
端口和ip改成自己的，默认端口是9000，记得去防火墙开放端口

bin/cerebro -Dhttp.port=1234 -Dhttp.address=192.168.182.110

浏览器访问
http://192.168.182.110:1234/
连接我们的主节点，就是上面部署的node1节点。

可以看到我们三个节点都是OK了的
在这里插入图片描述

后面本人还要深入研究Elasticsearch，可能会对本文做内容的补充，也会单独开一篇文章讲Elasticsearch的使用，大家多多关注哦。