Elasticsearch 运维

Elasticsearch的运维 Elasticsearch(简称 ES)作为分布式搜索和分析引擎,其运维工作需要兼顾集群稳定性、性能效率及数据安全。 阅读详情

Elasticsearch 运维
1.ES集群原理
(1)、ES基本概念名词
    Cluster
  代表一个集群,集群中有多个节点,其中有一个为主节点,这个主节点是可以通过选举产生的,主从节点是对于集群内部来说的。es的一个概念就是去中心化,字面上理解就是无中心节点,这是对于集群外部来说的,因为从外部来看es集群,在逻辑上是个整体,你与任何一个节点的通信和与整个es集群通信是等价的。

Shards

代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定,并且索引创建后不能更改。

replicas

代表索引副本,es可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率,es会自动对搜索请求进行负载均衡。

Recovery

代表数据恢复或叫数据重新分布,es在有节点加入或退出时会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。
  (es去掉节点方案:先加一个节点,对分片进行重新分片。然后在把要去掉的节点去退出)

(2)、ES为什么要实现集群

在单台ES服务器节点上,随着业务量的发展索引文件慢慢增多,会影响到效率和内存存储问题等。

我们可以采用ES集群,将单个索引的分片到多个不同分布式物理机器上存储,从而可以实现高可用、容错性等。

ES集群中索引可能由多个分片构成,并且每个分片可以拥有多个副本。通过将一个单独的索引分为多个分片,我们可以处理不能在一个单一的服务器上面运行的大型索引,简单的说就是索引的大小过大,导致效率问题。不能运行的原因可能是内存也可能是存储。由于每个分片可以有多个副本,通过将副本分配到多个服务器,可以提高查询的负载能力。

(3)、ES是如何解决高并发

ES是一个分布式全文检索框架,隐藏了复杂的处理机制,内部使用 分片机制、集群发现、分片负载均衡请求路由。

Shards 分片:代表索引分片,es可以把一个完整的索引分成多个分片,这样的好处是可以把一个大的索引拆分成多个,分布到不同的节点上。构成分布式搜索。分片的数量只能在索引创建前指定(默认一个索引是5个分片),并且索引创建后不能更改。

Replicas分片:代表索引副本,es可以设置多个索引的副本,副本的作用一是提高系统的容错性,当某个节点某个分片损坏或丢失时可以从副本中恢复。二是提高es的查询效率,es会自动对搜索请求进行负载均衡。
  
ES分片迁移的一些经验
集群三个节点:
es1(master)节点,如果挂了,则master节点会漂移到节点2上,但是集群不可用

es2
es3
如果把节点es1起来。则集群整体状态ok,master节点为node2
在这里插入图片描述

es 需求描述:
1.由于es1服务器不在使用,因此es1节点去掉(master),需要新增一个es1
2. es1是master节点,需要关闭,
方案:
1.关闭原es1(master)服务
2.自动切换主节点到node2上,
3.启动原es1节点
4.整体集群可用状态
5.将新节点加入集群,然后同步数据,等同步完毕之后,关闭原es1节点。

脑裂问题
对某一个实例进行重启后,很有可能会导致该实例无法找到master而将自己推举为master的情况出现,为防止这种情况,需要调整 elasticsearch.yml 中的内容

discovery.zen.minimum_master_nodes: 2

这个配置就是告诉Elasticsearch除非有足够可用的master候选节点,否则就不选举master,只有有足够可用的master候选节点才进行选举。
该设置应该始终被配置为有主节点资格的点数/2 + 1,例如:
有10个符合规则的节点数,则配置为6.
有3个则配置为2.

列出所有索引:
http://192.168.3.199:9200/_cat/indices?v
在这里插入图片描述

ElasticSearch 常用运维命令收集 本文我们从集群运维角度出发,向大家介绍了我们在日常的集群运维工作中常用到的集群维度相关命令。命令API命令说明查看集群健康状态等信息查看集群任务堆积情况查看集群详细的元数据信息查看集群各维度的统计信息,包括节点CPU、JVM等使用率情况查看集群分片分配详情更改分片分配策略查看集群层面settings设置信息查看集群中正在执行的task信息查看任务堆积详情。 阅读详情

相关推荐

Elasticsearch 集群运维常用命令详解

如下图 1 所示,当我们通过 Client 对集群执行写入操作时,请求首先到达的节点 1 被称为协调节点,协调节点 1 根据请求信息计算出主分片所在节点 3,并将请求转发至该节点 3,节点 3 在主分片写入成功后,再同步将请求转发至副本分片所在的节点 1 和 2,待副本分片所在节点都写入成功后,节点 3 返回请求给协调节点 1,协调节点 1 再返回写入成功信息给 Client。那么针对这种情况,如果客户能够接收丢失一个分片数据,则可以通过如下 API 来分片一个空数据的主分片,以让集群恢复 green。

lixinkuan的博客 1249

elasticsearch常用运维知识

curl -u 账号:密码 --location --request PUT 'http://ES地址:ES端口/_cluster/settings' --header 'Content-Type: application/json' --data '{"persistent": {"search.max_buckets": 聚合桶数量}}'curl -u 账号:密码 -X GET http://ES地址:ES端口/_cluster/settings?14.查看xxx索引大小变化和文档数量。

weixin_63793785的博客 1864

运维学习————运维日志分析系统es——Elasticsearch

Elasticsearch 是一个分布式的开源搜索和分析引擎,适用于所有类型的数据,包括文本、数字、地理空间、结构化和非结构化数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的 Elastic)于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名,是 Elastic Stack 的核心组件

m0_73376570的博客 2180

Elasticsearch 最佳运维实践总结

健康检查/_cat/health 和 /_cat/health?v 查询请求带了?v 将返回表头,在postman中我们可以发起如下请求,可以看到es集群的健康状况,但是结果并不直观。通过es管理工具很方便的就能使用cat api,下拉框中选中health点击excute按钮即可对需要管理的es集群进行健康检查。

2401_87288108的博客 2198

elasticsearch 运维记录

目录 (elasticsearch 基础知识汇总) 索引分片 从策略层面控制分片分配的选择 move 指令 节点下线 冷热数据的读写分离 集群自动发现 API 接口 数据写入 数据读取 数据删除 数据更新 搜索请求 集群健康状态 level 请求参数 节点状态监控接口 GC垃圾回收索引分片: 从策略层面,控制分片分配的选择 磁盘限额 为了保护节点数据安全,ES 会定时(cluster.info.up

zxf_668899的博客 7660

8年ES运维经验整理出的Elasticsearch运维手册(超实用)

k1 : 控制非线性词频率归一化(饱和),Elasticsearch中默认值为1.2。用人能看懂的话说就是词语在文档中出现的次数对于得分的重要性。例如说我觉得在某些场景,一个搜索词在文档中出现越多则越接近我希望搜索的内容,就可以将这个参数调大一点。b :控制文档长度对于分数的惩罚力度。变量b处于分母上,它乘以刚刚讨论过的字段长度的比值,Elasticsearch中的b 默认值为0.75。如果b较大,则文档长度相对于平均长度的影响更大。

yonggeit的博客 5278

Elasticsearch集群的运维与管理

eofsysctl -p# /data/es/es_9200/data # 默认数据目录,同目录的 logs 放日志mkdir -p /data/es/es_9200/{es_data,es_logs}chown -R elk:elk /data/es#参考启动命令 su -l elk -c "/data/es/es_9200/bin/elasticsearch -d -p /tmp/es_9200.pid"node.max_local_storage_nodes: 5 #集群最大逻辑存储节点数。

weixin_42795092的博客 1814

新手必看:Infineon Memtools烧录配置全流程(附常见错误解决方案)

本文为嵌入式开发新手提供了Infineon AURIX开发环境搭建与Memtools烧录的全流程实战指南。详细解析了ADS、DAS和Memtools三大核心工具的角色与协同关系,并重点讲解了Memtools的图形界面配置步骤、烧录操作流程,以及针对“无法连接设备”、“编程失败”等常见错误的系统性排查与解决方案,帮助开发者快速上手并规避典型陷阱。

weixin_29189377的博客 636

Elasticsearch(ES)常用运维命令

Elasticsearch 的运维命令主要集中在使用其 RESTful API 上。这些命令可以通过任何 HTTP 客户端(如 curl、Kibana Dev Tools、Postman 等)来执行。

532

数据预处理的分箱操作

数据分箱 介绍 我们在建立模型前,一般需要对特征变量进行离散化,特征离散化后,模型会更稳定,降低模型过拟合的风险。尤其是采用 logsitic 建立评分卡模型时,必须对连续变量进行离散化。而特征离散化处理通常采用的就是分箱法,数据分箱(也称为离散分箱或分段)是一种数据预处理技术,用于减少次要观察误差的影响,提高泛化性。 数据分箱又分为有监督分箱和无监督分箱,是否使用标签进行离散化(分箱)决定了有监督还是无监督的离散化方法。 知识点 无监督分箱 split 分箱 merge 分箱 无监督分箱 这里为了

随笔记 5335

Redis【实战篇】---- 分布式锁-redission

重入问题:重入问题是指 获得锁的线程可以再次进入到相同的锁的代码块中,可重入锁的意义在于防止死锁,比如HashTable这样的代码中,他的方法都是使用synchronized修饰的,假如他在一个方法内,调用另一个方法,那么此时如果是不可重入的,不就死锁了吗?所以可重入锁他的主要意义是防止死锁,我们的synchronized和Lock锁都是可重入的。不可重试:是指目前的分布式只能尝试一次,我们认为合理的情况是:当线程在获得锁失败后,他应该能再次尝试获得锁。

是微风,是晚霞,是无可替代 1万+

es集群搭建_中通Elasticsearch集群运维实践

背景中通在2015年的时候已经开始预研并在生产环境使用Elasticsearch集群,发展到现在,线上已经有几十套ES集群,集群规模小到个位数的节点,大到上百个节点,依靠原来的纯人工的方式来做维护监控操作,已经难以为继,且容易出错,亟需一套系统来简化整个运维流程,统一监控,实时告警以及索引管理。问题分布式集群维护困难:搭建、集群节点间配置同步、日常维护(节点启停、服务启停、状态查看)升级...

weixin_39673293的博客 131

Android:Google三方库之Adjust集成详细步骤

Android为APP添加google adjust功能

学习就是我的个性 4477

elasticsearch运维经验分享,收藏这篇就够了

除了query参数之外,还可以额外指定其它参数来控制搜索结果,例如“size”参数可定义返回的文档数量(默认为10),而“from”参数可指定结果集中要显示出的文档的起始偏移量(默认为0),“sort”参数可指明排序规则等。如果不限制查询时使用的索引和类型,查询请求将发给集群中的所有文档。ES的“分片(shard)”机制可将一个索引内部的数据分布地存储于多个节点,它通过将一个索引切分为多个底层物理的Lucene索引完成索引数据的分割存储功能,这每一个物理的Lucene索引称为一个分片(shard)。

Javachichi的博客 1686

【数字孪生与仿真技术】10:半导体制造中的虚拟量测技术深度解析:从多尺度建模到工业级应用

摘要:半导体制造过程中,晶圆加工需实时监测300+关键参数,传统物理量测技术面临产能损耗、延迟检测等痛点。本文系统阐述虚拟量测(Virtual Metrology)技术的完整解决方案,通过多尺度混合建模实现物理机理与数据驱动的深度融合。内容涵盖等离子体刻蚀、薄膜沉积等关键工艺的物理模型构建,LSTM神经网络的数据校正算法,以及边缘-云协同的实时部署架构。某12英寸晶圆厂实践表明,虚拟量测技术可减少70%物理量测频次,异常漏检率从18%降至3%,机台利用率提升11%。

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 2558

130页5万字某市档案馆数字档案馆建设方案

【版权声明】本资料来源网络,仅用于行业知识分享,供个人学习参考,请勿商用。【侵删致歉】如有侵权请联系小编,将在收到信息后第一时间进行删除!完整资料领取见文末,部分资料内容:国家档案局证实颁布《数字档案馆建设指南》, 明确了数字档案馆建设原则、要求、目标,对相关系统建设内容、功能要求进行了概括和详细说明。数字档案馆系统建设应以 OAIS 参考模型为设计基础,以实现数字资源的长期保存与可信管理。设计的数字档案馆系统架构如下图。图-1 数字档案馆体系结构数字档案馆建设包括五大层次和三大保障体系:

zuoan1993的博客 1182

运维大规模ES集群的思考和实践

序言Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎。在开源搜索领域已经遥遥领先其他产品。随着近年来ES的快速发展,ES已经逐步从单一搜索引擎进化成一个全能...

京东科技开发者 978

AI奶牛TMR智能饲喂机器人 Qt信创完整项目( 统信/麒麟国产系统直接编译)

内置**犊牛、育成牛、围产牛、泌乳牛、干奶牛**5套标准化饲喂配方;+" 饲喂批次完成|牛群:"+grpText+"|投喂饲料:"+QString::number(ft)+"吨|剩料:"+QString::number(st)+"吨|异常牛:"+QString::number(abCow);cv::putText(frame,"霉变变质饲料禁止饲喂",cv::Point(20,40),cv::FONT_HERSHEY_SIMPLEX,0.7,cv::Scalar(0,0,255),2);

寒寒豆豆软件公司的博客 187

详解最热门搜索引擎——ES

一、产生背景 ​ 互联网发展早期的时候,对于一般的公司储存的数据量不是那么的大,所以很多公司更倾向于使用数据库去存储和查询数据,如:现在去MySQL中查询数据,大概的查询方式就是:select * from table where filed like “%XXX%”或者其他方式,但是,如果我们在查询的时候没有用到或命中数据库建立的索引话,则会扫描整张表,即便是MySQL做过单表查询能力优化,但是他的极限也只在400万左右,且还会经常出现超时现象,让后为了解决这些问题,。很多公司就开始对数据库进

会编程的小郑 1万+

华为 MetaERP 总账模块依托 “交易即核算” 的事件驱动架构,与 Oracle EBS 相比,更强调业务事件自动触发财务动作、实时数据同步和智能规则引擎,实现业务与财务的深度融合

华为MetaERP总账模块采用"交易即核算"架构,相比Oracle EBS实现了三大突破:1)业务事件自动触发财务动作,如采购收货自动生成暂估凭证;2)业务财务数据实时同步,支持即时分析;3)内置智能规则引擎,实现自动匹配、核销和结转。该模块覆盖采购、销售、资产、薪酬等全业务场景,支持多维核算和关联交易自动抵消,显著提升核算效率与准确性。其中采购暂估、销售结转等场景实现全自动化处理,较EBS减少80%手工操作。

金牌架构师 226

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

Elasticsearch 监控和运维

Elasticsearch 是一个分布式的开源搜索和分析引擎,用于存储、搜索和分析大量数据。在生产环境中,对 Elasticsearch 进行监控和运维是非常重要的,它可以帮助我们及时发现和解决问题,确保 Elasticsearch 集群的稳定运行。

BXA 2127

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

es 开启集群_中通Elasticsearch集群运维实践(二)监控告警

背景介绍:中通在2015年的时候已经开始预研并在生产环境使用Elasticsearch集群,随后在科技中心开始大规模实践。随着业务的快速发展,es集群数量和规模也越来越大,版本的跨度也逐渐拉大,统一管理这些es集群逐渐变成了首要问题,在这种情况下,我们研发了中通ES运维监控平台--ESPaaS,提供了ES集群的自动化部署,统一监控,实时告警和索引管理等一系列运维管理功能,截止2020年7...

weixin_42350506的博客 685

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

阿里云ES Agent Skill:AI智能运维如何实现Elasticsearch自动化管理

Elasticsearch作为广泛应用的分布式搜索与分析引擎,其核心原理基于倒排索引和分布式架构,能够高效处理海量数据的实时检索与分析。在运维层面,传统方式依赖人工监控与手动干预,面临效率低下与操作风险高的挑战。随着AIOps(智能运维)技术的发展,通过结合规则引擎与机器学习模型,能够实现对集群状态的智能感知、根因分析与自动化决策,从而显著提升运维效率与系统稳定性。阿里云推出的ES Agent Skill正是这一理念的落地实践,它将运维专家的经验沉淀为可执行的自动化技能,聚焦于性能优化、容量管理、成本控制等

keke1314520的博客 429

2024年运维最全linux系统安装elasticsearch教程_linux 安装es

的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。16、mysql的innodb如何定位锁问题,mysql如何减少主从复制延迟?2、在工作中,运维人员经常需要跟运营人员打交道,请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别,工作中你怎么选择?5、LVS、Nginx、HAproxy有什么区别?9、讲述一下Tomcat8005、8009、8080三个端口的含义?7、Tomcat和Resin有什么区别,工作中你怎么选择?

时间与思念 1573
上一篇: Zabbix4安装
下一篇: kafka集群搭建
wflovejava
博客等级 码龄11年 23粉丝 46原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值