Docker部署Elasticsearch
目录
一、Elasticsearch安装说明
Elasticsearch是一个Java项目,从Elasticsearch7.0以上的版本已经内置jdk,不同的版本所需要的jdk版本是不同的(建议使用自己的Java版本,推荐Java长期版本),同时不同的系统版本所需要的ES版本也是不同的,
注意:ES自带openjdk,如果你的主机本身没有安装JDK,那么它会使用自带的JDK,如果安装了,那么会使用系统JDK。可是如果系统JDK版本小于ES需要的JDK版本,那么就会在启动时抛出不支持你的JDK的错误
参考官方网址:https://www.elastic.co/cn/support/matrix#matrix_os
下载地址:https://www.elastic.co/cn/downloads/elasticsearch,下载下来目录如下表
目录名称 | 描述 |
---|---|
bin | 可执行脚本文件,包括启动elastic search服务、插件管理、函数命令等等 |
config | 配置文件目录,如elasticsearch配置、角色配置、jvm配置等。 |
jdk | 7.0以后才有,自带的Java环境 |
lib | elasticsearch所依赖的Java库 |
data | 默认的数据存放目录,包含节点、分片、索引、文档的所有数据,生产环境要求必须修改。 |
logs | 默认的日志文件存储路径,生产环境务必修改。 |
modules | 包含所有的Elasticsearch模块,如Cluster、Discovery、Indices等。 |
plugins | 已经安装的插件的目录 |
本次安装的jdk版本为JDK1.8,Elasticsearch版本为elasticsearch-analysis-ik-7.17.5
二、部署单点es
2.1.创建网络
因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络:
docker network create es-net
2.2.拉取镜像
考虑到elasticsearch的兼容性,这里elasticsearch、kibana、IK分词器统一下载7.17.5版本,拉取镜像:
docker pull elasticsearch:7.17.5
docker pull kibana:7.17.5
2.3.运行
运行docker命令,部署单点es:
linux环境部署如下:
docker run -d \
--name es \
-e "ES_JAVA_OPTS=-Xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
elasticsearch:7.17.5
Windows环境部署如下(我这里将windows中的D盘共享给docker,并充当数据卷挂在到docker):
运行命令如下:
docker run -d --name es -e "ES_JAVA_OPTS=-Xms512m -Xmx512m" -e "discovery.type=single-node" -v d:/docker/elasticsearch/es-data:/usr/share/elasticsearch/data -v d:/docker/elasticsearch/es-plugins:/usr/share/elasticsearch/plugins --privileged --network es-net -p 9200:9200 -p 9300:9300 elasticsearch:7.17.5
下面是各个参数的含义解释和作用,详见如下表:
命令 | 描述 |
---|---|
-d | 以后台模式运行容器。 |
–name es | 为容器指定一个名称为 “es”。 |
-e “ES_JAVA_OPTS=-Xms512m -Xmx512m” | 设置 Elasticsearch 的 Java 虚拟机选项,指定初始堆大小为 512MB,最大堆大小也为 512MB。 |
-e “discovery.type=single-node” | 设置 Elasticsearch 的发现类型为单节点模式,这意味着它将以单节点模式启动,不会尝试与其他节点进行通信。 |
-v es-data:/usr/share/elasticsearch/data | 将名为 “es-data” 的 Docker 卷挂载到容器内的 /usr/share/elasticsearch/data 目录,用于持久化 Elasticsearch 的数据。 |
-v es-plugins:/usr/share/elasticsearch/plugins | 将名为 “es-plugins” 的 Docker 卷挂载到容器内的 /usr/share/elasticsearch/plugins 目录,用于安装 Elasticsearch 插件 |
–privileged | 以特权模式运行容器,这允许容器内的进程获得更高的权限。 |
–network es-net | 将容器连接到名为 “es-net” 的网络,这样容器内的服务可以通过网络进行通信。 |
-p 9200:9200 | 将容器的 9200 端口映射到主机的 9200 端口,这样可以通过主机的 IP 地址和端口访问 Elasticsearch 的 HTTP API。 |
-p 9300:9300 | 将容器的 9300 端口映射到主机的 9300 端口,这样可以通过主机的 IP 地址和端口访问 Elasticsearch 的节点间通信。 |
总体而言,这个命令会创建一个名为 “es” 的 Elasticsearch 容器,配置了内存限制、数据和插件目录的挂载,以及网络和端口的映射,使得可以通过主机访问 Elasticsearch 服务
2.3.测试
在浏览器中输入:http://localhost:9200 即可看到elasticsearch的响应结果:
三、部署kibana
Kibana 是一款开源的数据分析和可视化平台,设计用于和 Elasticsearch 协作。可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。kibana可以给我们提供一个elasticsearch的可视化界面,方便学习。
3.1.下载镜像并部署
创建kibana容器,如下:
docker run -d --name kibana -e ELASTICSEARCH_HOSTS=http://es:9200 --network=es-net -p 5601:5601 kibana:7.17.5
参数说明如下表:
命令 | 描述 |
---|---|
–network es-net | 加入一个名为es-net的网络中,与elasticsearch在同一个网络中 |
-e ELASTICSEARCH_HOSTS=http://es:9200 | 设置elasticsearch的地址,因为kibana已经与elasticsearch在一个网络,因此可以用容器名直接访问elasticsearch |
-p 5601:5601 | 端口映射配置 |
kibana启动比较慢,需要多等待一会,可以通过命令查看启动情况:
docker logs -f kibana
查看运行日志,当查看到下面的日志,说明成功:
此时,在浏览器输入地址访问:http://localhost:5601/app/home#/,即可看到结果:
3.2.DevTools介绍
kibana中提供了一个DevTools界面,地址:http://localhost:5601/app/dev_tools#/console,如下:
这个界面中可以编写DSL来操作elasticsearch。并且对DSL语句有自动补全功能。
四、安装IK分词器
4.1.在线安装ik插件(较慢、缺少IKAnalyzer.cfg.xml配置文件,不推荐)
# 进入容器内部
docker exec -it elasticsearch /bin/bash
# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.17.5/elasticsearch-analysis-ik-7.17.5.zip
#退出容器
exit
#重启容器
docker restart es
4.2 离线安装ik插件(推荐)
4.2.1 Linux环境离线安装ik插件
4.2.1.1 查看数据卷目录
安装插件需要知道elasticsearch的plugins目录位置,而我们用了数据卷挂载,因此需要查看elasticsearch的数据卷目录,通过下面命令查看:
docker volume inspect es-plugins
如下图:
说明plugins目录被挂载到了:/var/lib/docker/volumes/es-plugins/_data这个目录中。
4.2.1.2 解压缩分词器安装包
去GitHub下载ik分词器,下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.17.5
4.2.1.3 上传到es容器的插件数据卷中
在/var/lib/docker/volumes/es-plugins/_data,创建路径analysis-ik,路径即可,然后解压
# 创建路径
mkdir analysis-ik
将文件上传到创建的路径,然后解压
4.2.1.4 重启es容器
# 4、重启容器
docker restart es
# 查看es日志
docker logs -f es
4.2.2 Windows环境离线安装ik插件
4.2.2.1 进入ES容器并查看es-plugins目录存放地址
安装插件需要知道elasticsearch的plugins目录位置,而我们用了数据卷挂载,因此需要查看elasticsearch的数据卷目录,通过下面命令查看:
#查看容器获取es的容器ID
docker ps
#以交互的方式进入es容器
docker exec -it 71ef2d903729 /bin/bash
#查看es-plugins在容器中的位置,获取文件夹目录
ls
cd plugins/
pwd
根据上述命令获取到es-plugins目录存放地址为:/usr/share/elasticsearch/plugins
如下图:
说明plugins目录被挂载到了:/usr/share/elasticsearch这个目录中。
4.2.2.2 解压缩分词器安装包
去GitHub下载ik分词器,下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v7.17.5
4.2.1.3 上传到es容器的插件数据卷中
1.在/usr/share/elasticsearch/plugins中,创建路径analysis-ik文件夹
2.将elasticsearch-analysis-ik-7.17.5.zip文件放入与docker共享文件夹中,例如我这边将D盘共享给docker
3.退出es容器并将elasticsearch-analysis-ik-7.17.5.zip文件拷贝至容器中
4.再次进入es容器并在容器中解压elasticsearch-analysis-ik-7.17.5.zip文件
# 创建路径
mkdir analysis-ik
#退出容器
exit
#将elasticsearch-analysis-ik-7.17.5.zip文件拷贝至容器中
docker cp D:\\elasticsearch-analysis-ik-7.17.5.zip es:/usr/share/elasticsearch/plugins/analysis-ik
#再次进入es容器并进入到analysis-ik文件夹中
cd plugins/analysis-ik/
#在容器中解压elasticsearch-analysis-ik-7.17.5.zip文件
unzip elasticsearch-analysis-ik-7.17.5.zip
执行命令如下图:
解压完成后,在对应es本地挂在目录即可看到对应的解压文件,如下图
4.2.2.4 重启es容器
# 4、重启容器
docker restart es
# 查看es日志
docker logs -f es
4.2.3 测试
IK分词器包含两种模式:
ik_smart:最少切分
ik_max_word:最细切分
GET /_analyze
{
"analyzer": "ik_max_word",
"text": "今天是周末吗?"
}
4.3 扩展词词典
随着互联网的发展,“造词运动”也越发的频繁。出现了很多新的词语,在原有的词汇列表中并不存在。比如:“显眼包”,“蓝瘦香菇” 等。所以我们的词汇也需要不断的更新,IK分词器提供了扩展词汇的功能。
所谓扩展词:就是不想哪些词分开,让他们成为一个词,比如“蓝瘦香菇”
4.3.1 打开IK分词器config目录,在IKAnalyzer.cfg.xml配置文件内容添加
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->
<entry key="ext_dict">ext.dic</entry>
</properties>
4.3.2 在config包下新建一个 ext.dic,可以参考config目录下复制一个配置文件进行修改
注意:ext.dic文件格式需要为UTF-8
显眼包
蓝瘦香菇
4.3.3 重启elasticsearch
docker restart es
# 查看 日志
docker logs -f es
日志中已经成功加载ext.dic配置文件,如下图:
4.3.4 测试效果
执行最细粒度的拆分,
在没有将“蓝瘦香菇”、“显眼包”放到扩展词典前,会拆分成单个汉字或者词语,
添加后将“蓝瘦香菇”和“显眼包”放到扩展词典,并重启elasticsearch服务之后,执行会“蓝瘦香菇”、“显眼包”显示成单词出现:
GET /_analyze
{
"analyzer": "ik_max_word",
"text": "蓝瘦香菇的作者真的是个显眼包,奥力给!"
}
执行结果如下图:
4.4 停用词词典
在互联网项目中,在网络间传输的速度很快,所以很多语言是不允许在网络上传递的,如:关于宗教、政治等敏感词语,那么我们在搜索时也应该忽略当前词汇。IK分词器也提供了强大的停用词功能,让我们在索引时就直接忽略当前的停用词汇表中的内容。
停用词:有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。例如英文的a、 an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。停用词经常被过滤掉,不会被进行索引。在检索的过程中,如果用户的查询词中含有停用词,系统会自动过滤掉。停用词可以加快索引的速度,减少索引库文件的大小。
4.4.1 停用词词典
IKAnalyzer.cfg.xml配置文件内容添加:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典-->
<entry key="ext_dict">ext.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典 *** 添加停用词词典-->
<entry key="ext_stopwords">stopword.dic</entry>
</properties>
4.4.2 在config文件夹中stopword.dic文件并添加停用词
嗯
的
了
嘤
4.4.3 重启elasticsearch
# 重启服务
docker restart es
# 查看 日志
docker logs -f es
查看日期是否加载文件
4.4.4 测试效果
执行结果如下:
GET /_analyze
{
"analyzer": "ik_max_word",
"text": "嗯嗯,明天的天气挺好?"
}
之前的配置中停用了嗯、的等字,所以在检索的时候就不会再出现,如下图:
4.5 同义词典
同义词:意思相同的,“番茄”和“西红柿”,查询“番茄”的时候,把带有“西红柿”的数据一起查出来,这种叫做同义词查询
4.5.1 Linux环境配置同义词典
4.5.1.1 先进入到es容器,创建目录
# 进入到es的配置路径
cd /usr/share/elasticsearch/config/
# 创建路径,后续同义词词典保存在这里
mkdir analysis
4.5.1.2 在创建配置IK同义词(服务器中),创建名为synonym.dic的文件,输入下面同义词,并保存
番茄,西红柿,柿子
土豆,马铃薯
4.5.1.3 将同义词文件synonym.dic拷贝到容器
docker cp synonym.dic es:/usr/share/elasticsearch/config/analysis
4.5.1.4 重启容器
然后重启elasticsearch会自动加载相近词
docker restart es
4.5.2 Windows环境配置同义词典
4.5.2.1 先进入到es容器,创建目录
# 进入到es的配置路径
cd /usr/share/elasticsearch/config/
# 创建路径,后续同义词词典保存在这里
mkdir analysis
4.5.1.2 在docker共享磁盘中创建配置IK同义词(上文中共享磁盘设置),创建名为synonym.dic的文件,输入下面同义词,并保存
番茄,西红柿,柿子
土豆,马铃薯
4.5.1.3 将同义词文件synonym.dic拷贝到容器
docker cp D:\\synonym.dic es:/usr/share/elasticsearch/config/analysis
4.5.1.4 重启容器
然后重启elasticsearch会自动加载相近词
docker restart es
4.5.3 打开kibana输入以下命令测试
注意先要创建同义词库,才可以查询同义词库
#创建同义词词库
PUT syno
{
"settings": {
"analysis": {
"filter": {
"my_synonym_filter": {
"type": "synonym",
"synonyms_path" : "analysis/synonym.dic"
}
},
"analyzer": {
"my_synonyms": {
"tokenizer": "ik_smart",
"filter": [
"lowercase",
"my_synonym_filter"
]
}
}
}
}
}
#查询同义词
GET /syno/_analyze
{
"analyzer": "my_synonyms",
"text": "我爱吃番茄"
}
#删除数据库
DELETE syno
创建词库后,执行查询同义词结果如下:
引用
本文在大佬的基础上完善并新增了windows环境中docker部署Elasticsearch相关细节,大佬文档地址如下:
https://www.cnblogs.com/auguse/articles/17727671.html