elasticsearch zen discovery

最新推荐文章于 2024-04-15 00:49:07 发布
原创 最新推荐文章于 2024-04-15 00:49:07 发布 · 3.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #集群

本文深入探讨了Elasticsearch中Zen发现机制的工作原理，包括如何在集群中实现节点间的相互ping、选举新的master节点、配置感知线程、集群状态更新策略以及无master节点阻塞时的操作策略。

描述

zen是es默认的发现机制，2.0以上的版本提供了ping和unicast（单播）两个模块,1.x的版本还提供了 multicast,以前用1.7的版本es只需要配相同的集群名就可以组成一个集群了，现在必须给一个discovery.zen.ping.unicast.hosts才能发现其它节点来组成集群。

相互ping

当master节点停止或者遇到问题之后集群节点会相互ping并且产生一个新的master节点，这种相互ping会阻止一个节点和master节点出现网络闪断后，就认为master停止的情况，因为它还可以从其他节点获取master节点是否是活跃的

配置

配置 discovery.zen.minimum_master_nodes 用来表组成一个集群最少需要的合格master节点数即（node.master:true）

默认感知

es 跑了两个默认的感知线程，一个是master用来感知集群中的成员节点是否存在，另一个是成员节点感知master节点的存在（如果不存在，初始化一个选举进程）

集群状态更新

master节点是唯一能更新集群状态的节点，它发布状态的更改给成员节点，成员节点收到通知，更改之后，回复消息给master节点，master会有一个等待超时（discovery.zen.publish_timeout ），之后处理在队列中的下一个更新

无master阻塞

当集群不能产生一个master的时候，discovery.zen.no_master_block 用来配置操作的策略，它有两个配置

  1. all (节点上的所有读写操作都被拒绝，这也包括了集群api状态的读写操作)

  2. write(写操作会被拒绝，读操作能成功)

discovery.zen.no_master_block 配置的设置不影响节点基本的api,如节点信息和节点统计api

【Elasticsearch】zen discovery集群发现机制
九师兄
10-26 1544
1.概述 转载：https://blog.csdn.net/yangshangwei/article/details/103996803 继续跟中华石杉老师学习ES，第64篇 课程地址： https://www.roncoo.com/view/55 2.zen discovery集群发现机制 2.1 问题 Q： 现在有多台主机，每台机器部署一个es进程，每台机器都启动一个es进程，你怎么让多台机器上的多个es进程，互相发现对方，然后完美的组成一个生产环境的es集群呢？？ 默认情况下，es进程会绑定在自己.
【ElasticSearch】Es 源码之 Discovery DiscoveryModule ZenDiscovery 源码解读
九师兄
05-07 297
1.概述 在博客 【ElasticSearch】Es 源码之 Discovery DiscoveryModule 源码解读 中，我们找到了初始化这个的代码，在类 org.elasticsearch.discovery.DiscoveryModule#DiscoveryModule 中有如下代码。 如果设置了相关属性，那么就会初始化为ZenDiscovery，是这个初始化方法是这个 if (ZEN2_DISCOVERY_TYPE.equals(discoveryType) || SINGLE_NODE_DI
Elasticsearch中的Zen Discovery选主流程
qq_27639777的博客
03-16 1011
文章目录背景为什么使用主从模式？选举算法什么时候触发选主？选主过程选举临时Master投票与得票的实现确立Master或加入集群选举完成 elasticsearch中的Discovery模块负责发现集群中的节点，以及选择主节点。在Elasticsearch 7.0以前，内置的实现称为Zen Discovery。Zen Discovery封装了节点发送（ping）、选主等实现过程。 背景 为什么使用主从模式？ ES的典型场景中的另一个简化是集群中没有那么多节点。通常，节点的数量远远小于单个节点能够维护的连接数
elasticsearch生产集群部署-3个节点集群部署
江勇的博客
09-19 1万+
1、在三个节点上都下载es 如果要安装es，首先就要从官网elastic.co/downloads/elasticsearch下载es的安装包，并且最新es版本要求有JDK 8以上的版本。 es安装包的目录结构大致如下： bin：存放es的一些可执行脚本，比如用于启动进程的elasticsearch命令，以及用于安装插件的elasticsearch-plugin插件 conf：用于存放es的...
elasticsearch集群发现机制:Zen Discovery
weixin_34038652的博客
11-11 255
2019独角兽企业重金招聘Python工程师标准>>> ...
Elasticsearch5.5官方文档翻译-Zen Discovery
Ghost Stories
02-08 583
章节 Modules » Discovery » Zen Discovery 概述 Zen Discovery是内置在elasticsearch的默认发现模块。它提供单播发现，但可扩展到支持云环境和其他形式的发现。 禅发现集成了其它模块，例如，节点之间的所有通信是使用transport模块。 它被分离成多个子模块，其解释如下： Ping 这是一个节点使用发现机制...
elaticsearch之discovery模块
2B铅笔水果橡皮
11-14 938
discovery模块负责发现集群中的节点，同时选举master节点。
Elasticsearch6.2版本_默认集群节点发现机制(zendiscovery) Api翻译
保持不满足于简单解释的好奇心，提高戳中问题本质的能力
05-29 3748
官网api地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-discovery-zen.html#modules-discovery-zenZen Discoveryzen discovery是elasticsearch默认的内置的发现模块。它提供单播发现的方式，但是可以扩展为云环境或者其他形式的发...
ElasticSearch源码-Discovery模块
u011926899的专栏
10-12 890
版本： ElasticSearch 5.4.4 Lucene版本： 6.5.1 java： open jdk 1.8 DIscovery模块的功能 Discover模块主要是负责发现集群中的节点，以及选择主节点。兼容多种Discovery类型，包含亚马逊的ec2，谷歌的GCE等 本文内置的为zenDiscovery。 位置： Interface：org.elasticsearch.disc...
Zen discovery集群发现机制
勇心在馨
03-07 5690
默认情况下，es进程会绑定本地回环地址（127.0.0.1），扫描本地上的9300~9305端口，尝试和这些端口的启动的其他es进程通信，然后组成一个集群。 但是对于生产环境，每台节点需要绑定在非回环地址上才可以和其他节点通信，同时使用集群发现机制来和其他节点上的es node通信。 一、discovery集群发现机制 1、集群中的节点相互发现组成集群 2、负责es集群master的选举 ...
Zen Discovery：优化大数据集群发现机制
DevEnigma的博客
09-18 170
Zen Discovery的核心思想是通过自动化的方式发现和管理集群中的节点，从而实现节点的动态扩展和缩减。它可以自动发现新加入集群的节点，并将其加入到集群的成员列表中，同时也可以监测节点的状态变化，例如节点的故障或下线。Zen Discovery还支持节点的动态移除，当节点需要离开集群时，它会被自动地从集群中移除，以确保整个集群的稳定性和可用性。通过使用Zen Discovery集群发现机制，我们可以轻松地管理和监控大数据集群的节点，实现集群的动态扩展和缩减，提高整个集群的可靠性和性能。
ES源代码分析 - 2. ZenDiscovery集群组建
chunlie7017的博客
07-27 408
ES采用了自己实现的服务发现/选主机制，被称为ZenDiscovery。ZenDiscovery模块主要解决了三个问题： 选主 在集群刚启动时，所有节点都会向Seed Nodes发送Ping消息。Seed Nodes会保存接收到的所有节点的信息，并通过Ping Response的...
elasticsearch 配置 之 discovery.zen.ping.unicast.hosts
m0_37730244的博客
04-18 2万+
discovery.zen.ping.unicast.hosts: ["192.168.1.12","192.168.1.12:9201","192.168.1.12:9202","192.168.1.13","192.168.1.14"]注：端口非9200的节点， ip后需加端口号， 因 es 默认识别端口是9200...
ES6.x版本单机三节点配置discovery.zen.ping.unicast.hosts 错误
sonia_liss的博客
05-28 1万+
问题 在同一个机子利用不同端口搭建3个ES节点 单节点正常运行 集群间无法联通，找不到主节点 表现 cluster_uuid 一直没有注册成功 curl "0.0.0.0:29200" { "name" : "es-01", "cluster_name" : "es-test01n", "cluster_uuid" : "_nan_", "version" : { "number" : "6.4.2", "build_flavor" : "default", "bu
Elasticsearch节点自动发现机制
星光之子的博客
11-06 2055
节点自动发现机制 Elasticsearch内嵌自动发现功能，主要提供了4种可供选择的发现机制 其中一种是默认实现，其他都是通过插件实现的，具体如下所示 Azure discovery插件方式：多播模式 EC2 discovery插件方式：多播模式 Google Compute Engine（GCE）discovery插件方式：多播模式 Zen Discovery，默认实现方式，支持多播模式和单播模式 Zen Discovery是Elasticsearch内置的默认发现模块 发现模块 用于 发现集群中的
6个步骤轻松实现 postman 接口压力测试（建议收藏），2024年最新2024阿里软件测试高级面试题总结
2401_84240431的博客
04-15 1349
行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
ES配置
BlueSky
07-12 862
ES集群内部节点访问，需配置： #network.publish_host为节点之间通信的IP地址network.publish_host: slave1 #discovery.zen.ping.unicast.hosts为节点之间探寻的集群范围discovery.zen.ping.unicast.hosts: ["master","slave1", "slave2"] 一般内部配置成内网
08、es 进一步了解___b_ES 核心概念__1)集群（Cluster）
炫炫的博客
11-14 639
ES 的集群搭建不需要依赖第三方协调管理组件，自身内部就实现了集群的管理功能。 ES 集群由一个或多个 Elasticsearch 节点组成，每个节点配置相同的 cluster.name 即可加入集群，默认值为 “elasticsearch”。 确保不同的环境中使用不同的集群名称，否则最终会导致节点加入错误的集群。 一个 Elasticsearch 服务启动实例就是一个节点（Node）。节点通过 ...
Elasticsearch模块功能之-自动发现（Discovery）
热门推荐
路漫漫其修远兮
08-05 3万+
一 自动发现（Disovery） 该模块主要负责集群中节点的自动发现和Master节点的选举。节点之间使用p2p的方式进行直接通信，不存在单点故障的问题。Elasticsearch中，Master节点维护集群的全局状态，比如节点加入和离开时进行shard的重新分配。  自动发现机制在目前版本（1.3.1）提供了四种选择，一种是默认实现，其他都是通过插件实现。 1.      Azure di
discovery.zen.ping.unicast.hosts: ["es_node1", "es_node2"]配置后elasticsearch.service启动不了了
最新发布
06-01
### Elasticsearch服务在配置`discovery.zen.ping.unicast.hosts`后无法启动的解决方案 Elasticsearch在配置了`discovery.zen.ping.unicast.hosts`参数后，如果服务无法启动，可能是由于以下几个原因导致：网络连接问题、节点间通信失败、配置错误或版本兼容性问题[^1]。以下是针对此问题的详细分析和解决方法。 #### 1. 检查配置文件中的语法和格式 确保`elasticsearch.yml`文件中`discovery.zen.ping.unicast.hosts`的值是正确的数组格式，并且每个主机名或IP地址都用双引号括起来。例如： ```yaml discovery.zen.ping.unicast.hosts: ["es_node1", "es_node2"] ``` 如果使用的是IP地址，则应写为： ```yaml discovery.zen.ping.unicast.hosts: ["192.168.1.10:9300", "192.168.1.11:9300"] ``` 注意，默认情况下，Elasticsearch的集群通信端口为`9300`，因此需要明确指定端口号以避免潜在问题[^2]。 #### 2. 网络连通性验证 确认`es_node1`和`es_node2`之间的网络连接是否正常。可以使用以下命令测试两台机器之间的连通性： ```bash ping es_node1 ping es_node2 ``` 此外，还需要确保`9300`端口在所有节点上是开放的，并且防火墙规则允许跨节点的通信。可以通过以下命令检查端口状态： ```bash telnet es_node1 9300 telnet es_node2 9300 ``` #### 3. 集群名称一致性 确保所有节点的`cluster.name`配置相同。如果集群名称不一致，节点将无法相互发现并加入同一个集群。检查`elasticsearch.yml`文件中的`cluster.name`设置： ```yaml cluster.name: my_cluster_name ``` 所有节点的`cluster.name`必须完全匹配[^3]。 #### 4. 日志分析 查看Elasticsearch的日志文件（通常位于`/var/log/elasticsearch/`或`$ES_HOME/logs/`），寻找与启动失败相关的错误信息。常见的错误包括： - 节点间无法建立连接。 - 配置参数错误。 - 版本不兼容。 #### 5. 版本兼容性 确保`es_node1`和`es_node2`运行的是相同的Elasticsearch版本。不同版本的节点可能因协议差异而无法正常通信。可以通过以下命令检查版本： ```bash curl -X GET "http://es_node1:9200/" curl -X GET "http://es_node2:9200/" ``` #### 6. 启动顺序 在多节点环境中，建议先启动一个主节点（通常是`es_node1`），然后再启动其他节点。这样可以减少节点间竞争选举主节点的时间，从而提高启动成功率[^4]。 #### 7. 配置示例 以下是一个完整的`elasticsearch.yml`配置示例： ```yaml cluster.name: my_cluster_name node.name: es_node1 network.host: 0.0.0.0 discovery.zen.ping.unicast.hosts: ["es_node1", "es_node2"] ``` ### 总结 通过检查配置文件的语法、网络连通性、集群名称一致性、日志分析、版本兼容性和启动顺序，可以有效解决Elasticsearch服务在配置`discovery.zen.ping.unicast.hosts`后无法启动的问题[^5]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值