Docker部署ElasticSearch集群

Docker部署ES集群 Elasticsearch(ES)作为分布式搜索引擎,其核心价值在于通过集群部署实现高可用性和数据冗余。 本实验对比两种典型部署方案: 原生Linux部署:直接安装ES服务,适用于生产环境,资源利用率高,但需手动管理多节点。 Docker容器化部署:通过容器快速搭建集群,适合测试或动态扩展场景,具备资源隔离和快速回滚优势。 掌握原生Linux环境下ES集群(≥2节点)的搭建与配置。 阅读详情

1.前言

为什么要用ElasticSearch?我们的应用经常需要添加检索功能,开源的Elastic Search是目前全文检索引擎的首选。它可以快速的存储、搜索和分析海量数据。ElasticSearch是一个分布式搜索框架,提供RestfulAPI,底层基于Lucene,采用多shard(分片)的方式保证数据安全,并且提供自动resharding的功能。
Elasticsearch: 权威指南(中文):https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.html

2.拉取ElasticSearch镜像

在centos窗口中,执行如下命令:

docker pull elasticsearch:5.6.8

当前ES镜像版本信息:

 {
  "name" : "WlwFyqU",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "78UDZtviQqiWmzmenGpSrQ",
  "version" : {
    "number" : "5.6.8",
    "build_hash" : "cfe3d9f",
    "build_date" : "2018-09-10T20:12:43.732Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.1"
  },
  "tagline" : "You Know, for Search"
 }

3.创建数据挂在目录,以及配置ElasticSearch集群配置文件

3.1.创建数据文件挂载目录,并开放通信端口

在centos窗口中,执行如下操作:

[root@localhost soft]# pwd
/root/soft
[root@localhost soft]# mkdir -p ES/config
[root@localhost soft]# cd  ES 
[root@localhost ES]# mkdir data1
[root@localhost ES]# mkdir data2
[root@localhost ES]# mkdir data3
[root@localhost ES]# cd ES/config/
[root@localhost ES]# firewall-cmd --add-port=9300/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9301/tcp
success
[root@localhost ES]# firewall-cmd --add-port=9302/tcp
success

注:如果ELK选的6.X版本的,且非管理员,那么读者需将data1 data2 data3 开启777权限=> chmod 777 data1 data2 data3

3.2.创建ElasticSearch配置文件

在centos窗口中,使用vim命令分别创建如下文件:es1.yml,es2.yml,es3.yml

es1.yml

cluster.name: my-elasticsearch
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

es2.yml

cluster.name: my-elasticsearch
node.name: es-node2
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9201
transport.tcp.port: 9301
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

es3.yml

cluster.name: my-elasticsearch
node.name: es-node3
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9202
transport.tcp.port: 9302
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

注:本机虚拟机ip:192.168.70.129 读者请自行更改

3.3.调高JVM线程数限制数量

在centos窗口中,修改配置sysctl.conf

vim /etc/sysctl.conf

加入如下内容:

vm.max_map_count=262144 

启用配置:

sysctl -p

注:这一步是为了防止启动容器时,报出如下错误:
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

4.启动ElasticSearch集群容器

启动ElasticSearch集群容器
在centos窗口中,执行如下命令:

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9200:9200 -p 9300:9300 -v /root/soft/ES/config/es1.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data1:/usr/share/elasticsearch/data --name ES01 elasticsearch:5.6.8
 
docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9201:9201 -p 9301:9301 -v /root/soft/ES/config/es2.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data2:/usr/share/elasticsearch/data --name ES02 elasticsearch:5.6.8

docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d -p 9202:9202 -p 9302:9302 -v /root/soft/ES/config/es3.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /root/soft/ES/data3:/usr/share/elasticsearch/data --name ES03 elasticsearch:5.6.8

注:设置-e ES_JAVA_OPTS="-Xms256m -Xmx256m" 是因为/etc/elasticsearch/jvm.options 默认jvm最大最小内存是2G,读者启动容器后 可用docker stats命令查看

5.验证是否搭建成功

在浏览器地址栏访问http://192.168.70.129:9200/_cat/nodes?pretty 查看节点状态
在这里插入图片描述

注:节点名称带表示为主节点*

6.ElasticSearch配置文件说明

cluster.name: my-elasticsearch
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 192.168.70.129
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true 
node.data: true  
discovery.zen.ping.unicast.hosts: ["192.168.70.129:9300","192.168.70.129:9301","192.168.70.129:9302"]
discovery.zen.minimum_master_nodes: 2

参数说明:

cluster.name:用于唯一标识一个集群,不同的集群,其 cluster.name 不同,集群名字相同的所有节点自动组成一个集群。如果不配置改属性,默认值是:elasticsearch。
node.name:节点名,默认随机指定一个name列表中名字。集群中node名字不能重复
index.number_of_shards: 默认的配置是把索引分为5个分片
index.number_of_replicas:设置每个index的默认的冗余备份的分片数,默认是1
network.bind_host: 设置可以访问的ip,可以是ipv4或ipv6的,默认为0.0.0.0,这里全部设置通过
network.publish_host:设置其它结点和该结点交互的ip地址,如果不设置它会自动判断,值必须是个真实的ip地址
http.port:设置对外服务的http端口,默认为9200
transport.tcp.port: 设置节点之间交互的tcp端口,默认是9300
http.cors.enabled: 是否允许跨域REST请求
http.cors.allow-origin: 允许 REST 请求来自何处
node.master: true 配置该结点有资格被选举为主结点(候选主结点),用于处理请求和管理集群。如果结点没有资格成为主结点,那么该结点永远不可能成为主结点;如果结点有资格成为主结点,只有在被其他候选主结点认可和被选举为主结点之后,才真正成为主结点。
node.data: true 配置该结点是数据结点,用于保存数据,执行数据相关的操作(CRUD,Aggregation);
discovery.zen.minimum_master_nodes: //自动发现master节点的最小数,如果这个集群中配置进来的master节点少于这个数目,es的日志会一直报master节点数目不足。(默认为1)为了避免脑裂,个数请遵从该公式 => (totalnumber of master-eligible nodes / 2 + 1)。 * 脑裂是指在主备切换时,由于切换不彻底或其他原因,导致客户端和Slave误以为出现两个active master,最终使得整个集群处于混乱状态*
discovery.zen.ping.unicast.hosts: 集群个节点IP地址,也可以使用es-node等名称,需要各节点能够解析

附录:

1.查看容器内存

docker stats $(docker ps --format={{.Names}})

2.查看容器日志

docker logs 容器名/容器ID
docker部署ES集群 阅读详情

相关推荐

Elasticsearch 在linux部署 及 Docker 集群部署详解案例示范

Elasticsearch 是一个强大的分布式搜索和分析引擎,它能够处理和分析海量的数据。无论是在日志分析、全文检索、还是数据存储等场景中,Elasticsearch 都具有广泛的应用。本文将详细讲解如何在 **CentOS** 上部署 Elasticsearch,并进一步讨论如何通过 **Docker** 快速搭建 Elasticsearch 及其集群环境

J老熊 2344

elasticsearch基于docker搭建集群

我们会在单机上利用docker容器运行多个es实例来模拟es集群。不过生产环境推荐大家每一台服务节点仅部署一个es的实例。部署es集群可以直接使用docker-compose来完成,但这要求你的Linux虚拟机至少有的内存空间。

weixin_53604412的博客 1269

使用Docker Compose快速部署Elasticsearch集群

Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful搜索和分析引擎。它能够解决复杂场景下的搜索需求,从简单的数据索引到全文搜索,再到地理位置信息处理,都能提供快速的响应速度。因其高性能、高可用性和易扩展的特性,Elasticsearch在全文搜索、日志分析、安全分析、应用搜索、基础设施监控等领域得到广泛应用。Docker是一个开源的应用容器引擎,允许开发者打包应用以及应用的依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化。

weixin_42515340的博客 922

通过 Docker 部署 Elasticsearch 集群

通过容器部署的方式快速搭建ES集群。

运维-晓柏的博客 1656

脑电分析:为什么大脑信号会“变同步”?——事件相关同步化与去同步化 (ERS/ERD) 全景解析

脑电分析中的事件相关同步化(ERS)和去同步化(ERD)是研究大脑动态节律的重要方法,反映特定任务下脑电频段能量的变化。ERD表示神经元活动分散(功率下降),提示脑区活跃处理信息;ERS则反映神经元同步(功率增强),常与静息状态相关。本文详解了ERS/ERD的生理机制、计算流程(包括基线校正和功率谱分析),并提供了Python实现示例,展示如何通过Welch法和STFT进行时频分析,生成ERD/ERS热力图。该技术广泛应用于运动想象脑机接口、癫痫检测等领域,为理解大脑功能状态提供了量化工具。

qq_32516809的博客 1398

(超详细)互补格雷码+相移码求解包裹相位(Python实现)

记录实现“互补格雷码+相移码”求解包裹相位的编码过程。也可以叫它“5+4”法,5代表五幅格雷码图像,4代表四步相移法的四张正弦条纹图。

暴雨梨花博客 3万+

ElasticSearch 实战:在docker环境中部署Elasticsearch集群

在生产环境中,强烈建议启用身份验证、授权和加密传输。这通常涉及到配置 Elasticsearch 的 X-Pack 安全模块,设置用户名、密码、角色等,并在 Docker Compose 文件中传递相应的环境变量。Docker Compose 将拉取所需的 Elasticsearch 镜像(如果尚未存在),然后创建并启动两个节点的容器。还设置了必要的环境变量,如节点名称、集群名称、种子节点列表、初始主节点列表、内存锁定等。文件中添加更多的节点服务,确保它们使用相同的集群名称和网络,并在。

qq_33240556的博客 1588

Go语言AI智能体开发实战:基于LangGraphGo构建下一代工作流引擎

在AI应用开发领域,工作流编排是构建复杂智能系统的核心技术。其核心原理是将任务执行过程建模为状态图,通过节点和边的组合定义数据流转路径,实现多步骤推理与工具调用的自动化。这种基于状态图的编程模型,为智能体提供了清晰的“思考-行动-观察”循环抽象,显著提升了复杂业务逻辑的可维护性和可观测性。从技术价值看,它解决了传统代码中状态分散、流程僵化的问题,支持条件分支、并行执行等高级模式,是实现生产级AI应用的关键基础设施。在应用场景上,该技术广泛适用于客服机器人、自动化审批、数据ETL等需要多步骤协调的领域。本文以

weixin_30457551的博客 365

Linux安装Elasticsearch集群-----docker安装es集群

Elasticsearch(ES)作为分布式搜索引擎,其核心价值在于通过集群部署实现高可用性和数据冗余。重复2.2-2.4步骤,修改node.name和IP地址,确保discovery.seed_hosts包含所有节点IP。Docker容器化部署:通过容器快速搭建集群,适合测试或动态扩展场景,具备资源隔离和快速回滚优势。原生Linux部署:直接安装ES服务,适用于生产环境,资源利用率高,但需手动管理多节点。Docker部署便于快速扩展和隔离环境,适合测试或动态调整资源。

weixin_75145375的博客 1347

HTML5网页基础设计——课程介绍专栏

案例: 参考代码: <!doctype html> <html> <head> <meta charset="utf-8"> <title>动手实践</title> <style> *{ margin: 0; padding: 0; font-size:14px; } dd{ width: 461px; height: 145px; margin: -4px; pad.

shengming_tutou的博客 4594

TSEND_C指令错误代码解析与实战排错指南

本文详细解析西门子PLC中TSEND_C指令的常见错误代码,包括连接建立、参数配置、资源限制和网络通信等错误类型。针对错误代码80C4等典型问题提供实战排错指南,帮助工程师快速诊断和解决工业通信中的连接故障,提升系统可靠性。

backprop5master的博客 414

Linux Docker 部署 Elasticsearch (ES) 集群详解教程

Elasticsearch 集群是一种分布式架构,通过水平扩展节点来提升系统的容量和性能。在生产环境中,通常会通过独立的配置文件来指定节点角色,确保 Master 节点和 Data 节点的职责明确。无论是单节点还是集群部署,Docker 都能提供一致的运行环境,极大地提高了灵活性和可维护性。该配置文件定义了 3 个 Elasticsearch 节点,它们组成一个集群,每个节点都将数据存储在独立的卷上。在生产环境中,确保集群健康是非常重要的,可以通过设置警报和自动化监控来及时检测和修复问题。

广阔天地,大有作为 1835

11n、11ac、11ax和11be MCS表(全网最全)

1、无线协商速率介绍及计算 2、附11n、11ac、11ax 完整MCS速率表

weixin_41500064的博客 2万+

docker 部署es 集群 elasticsearch

docker 部署es 集群 elasticsearch

LegendHonor的博客 794

061、LQR(线性二次型调节器)控制基础

本文介绍了LQR(线性二次型调节器)控制在飞控系统中的应用。作者通过一次四旋翼炸机事故引出PID控制的局限性,详细讲解了LQR的数学原理、权重矩阵的物理意义以及实际工程实现方法。文章对比了LQR与PID的控制效果,指出LQR在鲁棒性方面的优势,同时也分析了其存在稳态误差等缺点。最后总结了LQR在飞控中的适用场景,建议将LQR与PID结合使用,并预告了下一章将讨论带积分项的LQI控制。全文包含具体案例、代码实现和调参经验,为飞控算法开发者提供了实用指导。

2401_88858637的博客 721

【STK】手把手教你利用STK进行导弹和反导仿真02 - STK/MMT模块01 导弹任务分析工具概述

种工具:导弹设计工具(Missile Design Tool,MDT )、导弹飞行工具(Missile Flight Tool,截弹,或者用内置拦截弹编辑器创建的个性化的拦截弹, IFT 能够对 ―一对一 ‖动能拦截。导设置系统参数, 并对其有效性进行验证, 画性能图,保证该设计是可行的。(SAIC)公司联合开发研制,极大扩展了 STK 原有的导弹对象的功能,能够精确仿真。IFT 能够对拦截飞机、 导弹、卫星等目标进行仿真和分析。(2)推进系统参数,包括推力,比冲,秒流量,推力持续时间,喷嘴出口面积,

weixin_44184852的博客 1884

docker 部署 ES集群

进入es容器,编辑elasticsearch.yml文件。映射文件夹没有权限,通过chmod授予文件夹权限即可。:默认的发现设置不适合生产使用,需要配置至少一个。若镜像拉取不到可以使用腾讯云的docker镜像源。的值太低,需要增加到至少 262144。docker ps 查看启动状态。将证书拷贝到另外两个服务的容器中。

阿额火热的博客 2841

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

Docker部署ES集群(图文并茂)

Docker部署es集群前置环境部署步骤初始化es配置文件调高JVM线程数限制数量服务部署es集群部署IK分词器安装ES负载均衡 前置环境 docker 19.03.13 部署步骤 初始化es配置文件 -- 拉取es镜像 docker pull elasticsearch:7.2.0 --创建挂载目录[data:存放索引数据,plugins:存放es插件] mkdir -p /home/creationpoint/software/elasticsearch mkd

疯狂小草的博客 5974

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

ES服务集群部署docker

根据自己的ES版本选择相应版本的IK分词器,因为安装的ES是 7.17.5 ,所以也下载相应的IK分词器。因为ES的数据大量都是常驻内存的,一旦使用了虚拟内存就会导致查询速度下降,一般需要关闭。将下载的分词器复制到ES安装目录的 plugins 目录中并进行解压。我们整体采用Docker方式进行布局,以下是我们需要部署的服务。因为我们使用的是docker部署,所以我们需要先进行下载镜像。因为后面要用到IK分词,所以我们要安装以下IK分词器。修改后需要重启才能生效,不想重启可以设置临时生效。

PassionAnytime的博客 1787

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

Docker Elasticsearch集群部署

Elasticsearch是一个基于Apache Lucene™的开源搜索引擎,无论在开源还是专有领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。

记录工作开发中遇到的技术难点,方便自己查看,也希望可以帮助到他人... 3136

Docker部署elasticsearch集群

Docker部署elasticsearch集群 1、集群架构 IP hostname ES节点 ES镜像 10.1.1.19 es1 es01 elasticsearch:7.14.2 10.1.1.20 es2 es02 elasticsearch:7.14.2 10.1.1.21 es3 es03 elasticsearch:7.14.2 2、安装docker 3、配置环境(三个节点都要做) (1)创建挂载目录 # 三个目录分别对应配置文件、数据和日志目录 mkdir /el

你说亮不亮的博客 2116

contos7 docker启动elasticsearch并部署到本机es集群中(图文详解)(elasticsearch8.1.2)

contos7 docker启动elasticsearch并部署到本机es集群中(图文详解)(elasticsearch8.1.2)把docker里面的es部署到本机的es里面device or resource busy,es集群部署,es8利用token完成集群部署。

xiaomaomixj的博客 1000

Docker部署ES集群、kibana、RabbitMq和chrome安装elasticsearch-head插件

到此文章分享结束,es环境的搭建可以使用源码包、docker、docker-compose和k8s等方式搭建,启动拉起一个本地es集群,让es的入门不至于被环境所困扰,希望我的分享对你有所帮助,请一键三连,么么哒!

qq_34905631的博客 1654

docker部署elasticsearch(内涵集群部署的compose文件)

在互联网项目中,在网络间传输的速度很快,所以很多语言是不允许在网络上传递的,如:关于宗教、政治等敏感词语,那么我们在搜索时也应该忽略当前词汇。获取ik.zip包后,进行解压得到ik放入/var/lib/docker/volumes/es-plugins/_data路径下。--用户可以在这里配置自己的扩展停止词字典 *** 添加停用词词典-->IK分词器也提供了强大的停用词功能,让我们在索引时就直接忽略当前的停用词汇表中的内容。--用户可以在这里配置自己的扩展字典 *** 添加扩展词典-->

weixin_62108279的博客 1001

docker部署es集群

凭证的生成和插件安装无关联,可以理解就是个类似ssl证书的东西,有了这个东西后面才能配置searchGuard证书位置。注意:所有节点都配置好后,重启哈es节点,然后再执行。如果容器内提示没java环境,可以直接用es自带的jdk,配置下环境变量就可以了。es对应的searchGuard版本:search-guard-suite-plugin-7.8.0-43.2.0。版本:search-guard-tlstool-1.9.1。正常操作,可以用linux生成,也可以本地生成。es的版本:7.8.0。

poorzhu的博客 229

二,es 集群部署 docker

四,访问kibana 查看集群情况[docker主机ip]:5601。1,.env (这里面的密码只能是数字字母,不能有特殊符号)三,启动容器:docker compose up -d。

2301_76318712的博客 380
上一篇: Nginx专题(六)-Nginx原理与优化参数配置
下一篇: Docker常见问题
熊猫IT技术
熊猫IT技术 优质创作者: Java技术领域 优质创作者: Java技术领域 领域专家: 后端开发技术领域 领域专家: 后端开发技术领域
博客等级 码龄10年 6021粉丝 1312原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

熊猫IT技术

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值