Elasticsearch 集群基本概念

Elasticsearch搜索引擎 本篇博客系统地介绍了Elasticsearch 7.14.0在windows环境下安装、基本使用、Springboot集成Elasticsearch以及ELK搭建。 阅读详情
构建集群命令

启动es节点:
bin/elasticsearch -Ecluster.name=my_cluster -Epath.data=my_cluster_node1 -Enode.name=node1 -Ehttp.port=5200 -d
bin/elasticsearch -Ecluster.name=my_cluster -Epath.data=my_cluster_node2 -Enode.name=node2 -Ehttp.port=5200 -d

基本概念

Cluster State

记录集群的相关数据称为: cluster state,主要记录如下信息
· 节点信息,如节点名称,连接地址等
· 索引信息,如索引名称、配置等
· …

Master Node

· 可以修改 Cluster State 的节点叫做Master Node,一个集群只有一个存在
· cluster state 存储在每个节点上,master维护最新版本,并同步给其他节点
· master节点是集群所有节点选举出来的,可称为master eligible节点,相关配置:node.master:true : 这个节点是可选举的节点(默认true )

Coordinating Node

处理请求的节点称为Coordinating Node,该节点为所有节点的默认角色,不能取消
· 路由请求到正确的节点处理,比如创建索引请求到master节点

Data Node

存储数据的节点为 data 节点,默认节点都是data类型,相关配置:
· node.data:true

Cluster Health

GET _cluster/health
查看集群的健康状态:
green健康状态,所有主副分片正常分配
yellow 所有主分片正常分配,有副本分片未进行正常分配
red 有主分片未分配

高可用保证

服务可用性:
- 2个节点的情况下,允许一个节点停止服务
数据可用性
- 引入副本(Replication)解决
- 每个节点都有完备的数据

故障转移

node1: P0,R1
node2: P1,R2
node3: P3,R0
====> node1挂了 ===>
1、重新发起master选举,Node2变成master,此时P0没有,集群处于red状态
2、R0升级为主分片变成P0,集群处于yellow状态
3、在Node2中创建R0,集群处于green状态
====> 最终成为 ===>
node2: P1,R0,R2
node3: P2,P0,R1

文档分布式存储

通过某种算法实时计算,将文档映射到 分片上
计算分片公式:
- shard = hash(routing) % number_of_primary_shards
- hash算法保证均匀散列在分片中
- routing默认是文档id,可自行制定
- number_of_primary_shard是主分片数(这就是为什么分片术不能修改的原因)

倒排索引不可更改

· 好处:
- 不用考虑并发写文件问题,杜绝锁机制带来的性能问题
- 由于文件不再更改,可以充分利用文件系统缓存
- 利于生成缓存数据
- 利于文件压缩存储,节省磁盘空间
· 弊端: 写入新文档时,必须重新构建倒排索引文件,替换老的,导致文档实时性差

生成式AI;语义通信技术;生成式AI辅助的云边协同算法及其可解释性 生成式AI 语义通信技术 生成式AI辅助的云边协同算法及其可解释性 一、端到端设计的物理层内生智能 二、生成式语义通信 三、生成式数字孪生网络 四、生成式AI辅助的云边协同算法及其可解释性 五、未来可能的研究方向 阅读详情

相关推荐

分享一个简单的迭代学习机器人双臂控制(MATLAB)

1 什么是迭代学习控制 迭代学习控制(iterative learning control,简称ILC)由Uchiyama于1978年首先提出,不过因为论文由日文撰写,影响不是很大。1984年,Arimoto等人用英文介绍了该方法。它是指不断重复一个同样轨迹的控制尝试,并以此修正控制律,以得到非常好的控制效果的控制方法。 迭代学习控制的特点是“在重复中学习”,通过反复的迭代修正,达到改善控制效果的目的。迭代学习控制的原理是根据系统前次运行所获得的输出误差信息,在控制过程中不断修正控制输入,随着迭代的进行,逐

weixin_45776027的博客 4483

分布式搜索elasticsearch配置文件详解

elasticsearch的config文件夹里面有两个配置文件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日志的,所以logging.yml里的设置按普通log4j配置文件来设置就行了。下面主要讲解下elasticsearch.yml这个文件中可配置的东西。 cluster.name: elasti...

云计算? 2027

微信支付开发之平台给用户转账到零钱的功能

请求消息中应包含商家批次单号、转账名称、appid、转账总金额、转账总笔数、转账openid、收款用户姓名等信息。批次已受理成功,若发起批量转账的30分钟后,转账批次单仍处于该状态,可能原因是商户账户余额不足等。【转账场景ID】 该批次转账使用的转账场景,如不填写则使用商家的默认场景,如无默认场景可为空,可前往“商家转账到零钱-前往功能”中申请。【转账总笔数】 一个转账批次单最多发起一千笔转账。【商家批次单号】 商户系统内部的商家批次单号,要求此参数只能由数字、大小写字母组成,在商户系统内部唯一。

程序员weixin_sodomany的博客 3449

Elasticsearch 中的一些重要概念: cluster, node, index, document, shards 及 replica

当我们开始使用Elasticsearch时,我们必须理解其中的一些重要的概念。这些概念的理解对于以后我们使用Elastic栈是非常重要的。在今天的这篇文章里,我们先来介绍一下在Elastic栈中最重要的一些概念。 首先,我们来看下一下如下的这个图: Cluster Cluster也就是集群的意思。Elasticsearch集群由一个或多个节点组成,可通过其集群名称进行标识。通常这个........................

Elastic 中国社区官方博客 3万+

光纤布拉格光栅(FBG)笔记【1】:波导结构和布拉格波长推导

引言 本文是光纤布拉格光栅(FBG)的笔记【1】,主要介绍了光纤布拉格光栅的波导结构,并且利用动量和能量守恒推导了光纤布拉格波长的表达式 普通光纤中让折射率发生周期性变化就是结构最简单的均匀光纤布拉格光栅(FBG),其波导结构如下图所示。 其传感原理描述可以分为以下的三点: ①光纤纤芯传播的光会在每个光栅面进行反射和透射; ②如果不满足布拉格条件,依次排列的光栅平面反射的光会逐渐变得不同直到最后相互抵消;同时由于系数不匹配,与布拉格波长不相符的光在每个光栅平面的反射也很微弱,这些光大部分在光纤中发生透.

subtitle_的博客 2万+

【Clickhouse】Cannot allocate block number in Zookeeper write prefix view location

我有一个问题,我CK集群跑批的时候,replicated表变成只读的了下面是CK的报错和当时ZK的日志。下面是zk报错开始 我认为是写入的时候,压力太大,ZK扛不住了,就按照博客里的建议优化了ZK的参数,现在偶尔还会只读,zk报错都是图里的那种clickhouse的集群是5分片的集群,数据量比较大。每小时批量一次,每次2-10W条数据,字段的话,不到200个字段,使用的 jdbc sink写入。

九师兄 836

ElasticSearch配置集群

elasticsearch.yml配置 注意:集群名称一定要一致,端口号要不同,通信端口要不同 ① 节点1 //配置集群名称 cluster.name: elasticSearchCluster //配置节点名称 node.name: node-elasticSearch1 //配置数据节点 node.master: true node.data: true //配置主机 network.host: 10.56.20.20 //配置端口号 http.port: 1001 //配置通信端口 transport

weixin_44503925的博客 1250

OpenClaw 运行时错误文档:Embedded Run Agent End with Stream Error(嵌入式运行代理结束流式错误)

OpenClaw运行时错误文档:EmbeddedRunAgentEndwithStreamError(OC-ERR-009) 该错误表示LLM提供商在流式传输过程中发生服务器端异常(HTTP 500),属于可恢复的中等严重性错误。典型表现为日志中出现包含"stream_error"和500状态码的错误信息。系统会自动进行错误分类(50%为服务过载,25%网络问题等),并通过内置机制尝试解决:包括模型切换、API密钥轮换和自动重试策略。用户可采取重试请求、切换模型或简化请求内容等操作,管理

多媒体编程、网络编程、系统编程、网络安全编程、驱动编程 550

1.2 Elasticsearch 简单的集群配置

​ 1、列出进程号 ps -ef | grep elastic 2、关闭进程号 kill -9 进程号 3、重启elasticsearch ./elasticsearch -d 参数-d的含义: 是后台运行 1、es不能用root用户启动 异常信息:can not run elasticsearch as root 解决方案: 新建用户 adduser xxx 将es文件夹权限修改 chown -R xx|xx 文件夹 2、./elasticsearch -d 后台启动 3、安装过程注意的问题 1.

一页尘埃 1002

uniapp:详细ios本地离线打包完整流程,使用XCode苹果本地离线打包APP,UNIAPP IOS离线打包并上传到上传到App Store应用商店(mac环境 Uniapp iOS本地离线打包)

uniapp ios 本地离线打包(攻略),iOS App打包发布上架,uni-app项目离线打包之iOS,uni-app实现XCode苹果本地离线打包APP,UNIAPP之IOS离线打包,iOS开发打包ipa,uniapp 打包 IOS,uniapp ios app离线打包配置,uniapp打包离线App(ios),uniapp ios打包详细步骤,最新版iOS Xcode如何证书配置和ipa打包(附图文教程)uniapp申请ios证书,uniapp iOS打包,证书申请,XCode打包IOS应用发布Ap

✅ 精选推荐文章 4506

virtuoso如何导出def?

在DEF Out界面,填写def name,library name以及cell name ,cell view既layout,把Output "Floating Shapes" into SPECIAL NETS Section勾上,OK即可。2)在要导出的layout界面选中PAD和prBoundary(shift+左键),快捷键C copy到空cell里,这时需要调整copy过来的object坐标,让两边prBoundary的坐标相同。我正在「拾陆楼」和朋友们讨论有趣的话题,你⼀起来吧?

m0_61544122的博客 2304

es集群搭建-antuo

es集群中的每台节点都要执行一下操作 解压 tar -zxvf elasticsearch-7.12.1-linux-x86_64.tar.gz -C /usr 创建用户 # 创建用户 useradd es # 修改用户密码 passwd es es不允许使用root用户 授权用户 chown -R es:es /usr/elasticsearch-7.12.1 修改elasticsearch.yml # 加入如下配置 #集群名称 cluster.name: cluster-es #节点名称,每个

qq_35383845的博客 456

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ElasticSearch学习笔记(四)-ES集群基本概念及搭建过程及主要工作原理

目录前言如何搭建ES集群集群的基本概念集群工作的原理及示例 前言 UP之前都是在自己的阿里云服务器和腾讯云服务器上测试的ES,之前的关于ES以及Kibana的操作都是可以正常的执行的,但是这次在配置ES集群的时候问题却是一直有问题.虽然两者的ES都能够正常启动,但是双方节点都显示找不到对方节点,一直处于ping对方节点的状态.并且由于双方节点都处于这种状态,导致两台服务器的Kibana都无法正常连接到相应的ES,导致后续的操作都无法正常执行. 在请教了我们技术主管之后,说是具体原因可能是由于不在同一个局域

lovely__RR的博客 1824

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

Elasticsearch(007):es中集群、分片等基本概念

文章目录1. 近实时(near realtime)2. 集群(cluster)3. 节点(node)4. 索引(index)5. 类型(type)6. 文档(document)7. 分片和副本(shards&replicas) Elastic-Search的基础概念 有一些概念是Elasticsearch的核心。从一开始就理解这些概念将极大地帮助简化学习过程。 1. 近实时(near re...

瘦子没有夏天 2051

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Elasticsearch集群——基本概念

Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用。Elastic 的底层是开源库 。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用。 一、ES...

王树伦的博客 1579

es集群节点数和分片数关系_ElasticSearch的基本概念和集群分布式底层实现

作者:张勇http://tech.dianwoda.com/深度分页引发的机器性能问题最近碰到一个ElasticSearch深度分页搜索,导致cpu占用过高问题,通过查阅ElasticSearch: 权威指南,了解到了深度分页为何会引起机器资源占用:在集群系统中深度分页为了理解为什么深度分页是有问题的,让我们假设在一个有5个主分片的索引中搜索。当我们请求结果的第一页(结果1到10)时,每...

weixin_36234738的博客 1101

ElasticSearch基础:从倒排索引说起,快速认知ES

搜索引擎的通常索引单位是单词,单词词典是文档集合中出现过的所有单词构成的字符串集合,单词词典内每条索引项记载单词本身的一些信息以及指向倒排所有的指针。倒排索引也叫反向索引,我们通常理解的索引是通过key寻找value,与之相反,倒排索引是通过value寻找key,故而被称作反向索引。:所有单词的倒排列表往往顺序地存储在磁盘的某个文件里,这个文件被称之为倒排文件,倒排文件是存储倒排索引的物理文件。区别于关系型数据库的是,ES是一个非结构化的数据库,每个文档可以有不同的字段,并且有一个唯一标识。

2401_87389920的博客 1024

ES(一):ES基本概念和原理简单介绍

Elasticsearch概述: ES是基于Lucene的搜索服务器,它提供了一个分布式多用户能力的全问搜索引擎,且ES支持RestFulweb风格的url访问。ES是基于Java开发的开源搜索引擎,设计用于云计算,能够达到实时搜索,稳定、可靠、快速。此外,ES还提供了数据聚合分析功能,但在数据分析方面,es的时效性不是很理想,在企业应用中一般还是用于搜索。ES自2016年起已经超过Solr等,...

zhoushimiao1990的博客 3万+

ElasticSearch的基本概念和集群分布式底层实现

点击上方 "程序员小乐"关注,星标或置顶一起成长每天凌晨00点00分,第一时间与你相约每日英文Sometimes, walking away is better th...

程序员小乐 454

elasticsearch 删除满足条件的语句_ElasticSearch的基本概念和集群分布式底层实现

深度分页引发的机器性能问题最近碰到一个ElasticSearch深度分页搜索,导致cpu占用过高问题,通过查阅ElasticSearch: 权威指南,了解到了深度分页为何会引起机器资源占用:在集群系统中深度分页为了理解为什么深度分页是有问题的,让我们假设在一个有5个主分片的索引中搜索。当我们请求结果的第一页(结果1到10)时,每个分片产生自己最顶端10个结果然后返回它们给请求节点(requesti...

weixin_28886359的博客 140

ES分布式搜索引擎的故事

我们每天都会用到搜索引擎,那么,思考几个问题:输入“2020年美国大选结果是啥?”后, - 搜索引擎如何从海量数据中,以一种可以接受的延迟将最优的结果展现出来? - 海量的数据是如何存储的,原理是什么? - 对于大选新闻,如何实时的发布,让用户能搜索到?

敲代码的拉布拉多 725

ElasticSearch基本概念

前言 When we learn a new technology,we need to know what it is,why we learn it and how to use it best 1. ES概述 是一个搜索引擎应用 ES = 搜索引擎 + NoSQL数据库 基于Java和Lucene构建,可以用于全文搜索,结构化搜索以及近实时分析,并且提供一个分布式多用户能力的全文搜索引擎 ...

bleeding_sky的博客 291
上一篇: 布隆过滤器原理与场景
下一篇: Memcached内存管理模型与LRU算法优化
Kindle_code
博客等级 码龄12年 21粉丝 66原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值