ElasticSearch 集群索引和分片的CURD

elasticsearch原理剖析 elasticsearch原理 Master/Slave架构 VS P2P 环形结构 Master-Slave master 节点负责管理整个系统,监视 slave 节点的运行状态,同时为其下的每一个 slave 节点分配存储的范围,是查询和写入的入口.master 节点一般全局只有 1个,该节点的状态将严重影响整个系统的性能,当 master 节点宕机时,会引起整个系统的瘫痪.实... 阅读详情

一、ES集群的索引

        背景:Elasticsearch会对所有输入的文本进行处理,建立索引放入内存中,从而提高搜索效率。在这一点上ES优于MYSQL的B+树的结构,MYSQL需要将索引放入磁盘,每次读取需要先从磁盘读取索引然后寻找对应的数据节点,但是ES能够直接在内存中就找到目标文档对应的大致位置,最大化提高效率。

        ES为了提高搜索效率、优化存储空间做了很多工作。为了能够快速定位到目标文档,ES使用倒排索引技术来优化搜索速度,虽然空间消耗比较大,但是搜索性能提高十分显著。

        ES的filter语句采用了Roaring Bitmap技术来缓存搜索结果,保证高频filter查询速度的同时降低存储空间消耗。

(一)索引(index):

用户写入ES集群的逻辑单元。

(二)分片(shard):

一个索引最少一个分片。将索引的数据分布式的存储在ES集群。

(三)副本(replica):

一个分片可以有0个或多个副本。为同一个分片数据提供数据冗余。

(四)文档(docment):

1.所有的数据都是以文档的形式存储,并存储在分片中。

2.数据对应一个json的object数据类型存储。

(五)主分片和副本分片的区别:

主分片可以用于读写操作(rw)。
副本分片仅能用于读取操作(ro)。    

二、分片

默认半数分片写入成功即可:主分片数量+副本分片数量+1

三、集群的颜色:

(一)绿色 GREEN

表示所有的主分片和副本分片均正常工作。

(二)黄色 YELLOW

表示有部分副本分片不正常工作。

(三)红色RED

表示有部分主分片不正常工作。

四、索引管理

(一)Google浏览器安装插件试图查看索引状态

(二)查看索引

1.查看所有的索引
curl -X GET 10.0.0.151:9200/_cat/indices
2.查看单个索引
10.0.0.151:9200/.geoip_databases

(二)创建索引

1.创建默认索引
curl -XPUT 10.0.0.151:9200/oldboyedu-linux85
{
    "settings":{
        "number_of_shards":3
    }
}

2.创建指定的分片

创建yedu-linux85索引,具备三个分片一个副本;

三个分片一个副本


    

3.创建指定的分片和副本
curl -XPUT 10.0.0.151:9200/yedu-linux87
{
    "settings":{
        "number_of_shards":3
    }
}

 三个分片,0个副本

 4.创建指定分片,让部分分片不能工作

5个分片,3个副本

1个主分片+3个副本分片 >  主机数量 ;会限制一个主分片+3个副本分片

现象:有部分分片没有正常工作,显示黄色

2个副本+1个主分片 = 3个 没有超过主机数量

 

(三)修改索引

1.修改副本

1、5个分片+1个副本

2、1个主分片+1个副本 < 主机数量

 

2.修改分片

修改分片失败;

失败的原因:文档写入哪个分片编号计算公式=hash(文档ID) % primary_shards_numbers ----> [0,2]

(四)删除索引

1.删除单个索引
curl -XDELETE 10.0.0.151:9200/yedu-linux88-002

 

2.基于通配符删除多个索引

 

ElasticSearch从入门到精通,史上最全(持续更新,未完待续,每天一点点) 目录 1.ElasticSearch的简介 2.用数据库实现搜素的功能 3.ES的核心概念 3.1 NRT(Near Realtime)近实时 3.2 cluster集群,ES是一个分布式的系统 3.3 Node节点,就是集群中的一台服务器 3.4 index 索引(索引库) 3.5 type类型 3.6 document:文档 3.7 Field 字段 3.8 sha... 阅读详情

相关推荐

强化学习新手上路:用PPO-Clip轻松玩转Pendulum-v1(PyTorch保姆级教程)

本文提供了一份基于PyTorch的PPO-Clip算法实战教程,指导强化学习新手在Pendulum-v1环境中构建连续控制智能体。教程详细解析了PPO-Clip的核心机制,特别是其Clip机制如何限制策略更新幅度以确保训练稳定,并涵盖了从环境配置、策略网络设计、经验收集到完整训练框架搭建的全过程,是掌握连续动作空间强化学习的实用指南。

weixin_29062963的博客 271

【ElasticSearch系列-07】ES的开发场景和索引分片的设置及优化

Es的开发场景和索引分片的设置和优化

zhenghuishengq的博客 3185

scGPT-spatial 复现

文章摘要:Spatial scGPT项目复现流程 本文详细介绍了复现Spatial scGPT项目的完整流程,包含数据预处理、模型训练等关键步骤。首先需要使用scanpy加载H5AD文件并进行归一化、对数变换等预处理。然后构建基因词汇表(vocab),提取基因表达值和空间坐标信息。接着使用DataCollator进行数据分箱、掩码和填充处理。最后搭建TransformerModel进行训练。文章特别指出了需要自行补全的缺失部分,包括基因词汇表构建、空间坐标提取、数据集类定义和训练主循环脚本等。作者还提供了详

victory0431的博客 1684

ElasticSearch的索引和数据分片管理

1.背景介绍 Elasticsearch是一个开源的搜索和分析引擎,基于Lucene库,具有实时搜索、文本分析、数据聚合等功能。它可以快速、高效地存储、检索和分析大量数据,广泛应用于企业级搜索、日志分析、监控等领域。 在Elasticsearch中,数据存储和查询的基本单位是索引(Index)和类型(Type)。索引是一个逻辑上的容器,可以包含多种类型的数据。类型是一种数据结构,用于描述索引中...

AI天才研究院 1632

神经符号AI架构解析:如何通过V&V提升AI系统可信性

在人工智能领域,深度学习模型因其强大的模式识别能力而广泛应用,但其内部决策过程往往如同“黑盒”,难以追溯和解释,这给系统验证与确认带来了巨大挑战。验证与确认是确保复杂软件系统安全、可靠、符合预期的基石,其中验证关注“是否正确地构建了产品”,确认则关注“是否构建了正确的产品”。神经符号人工智能作为一种新兴范式,通过融合符号逻辑的透明推理与深度学习的强大感知,为解决这一难题提供了关键技术路径。它使得AI系统既能从数据中学习复杂模式,又能依据可形式化检验的规则进行逻辑推理,从而在自动驾驶、医疗诊断等高可靠性应用场

weixin_28681379的博客 358

全桥LLC谐振变换器设计与双环控制策略详解

LLC谐振变换器作为高频开关电源的核心拓扑,通过谐振腔实现软开关特性,显著提升转换效率(可达96%以上)。其工作原理基于谐振电感、电容的协同作用,当开关频率接近谐振点时实现ZVS/ZCS。在工业电源、电动汽车充电等场景中,电压电流双环控制策略通过引入电流内环和竞争仲裁机制,有效改善动态响应(实测负载跳变时电压跌落减少60%)。数字控制实现时需注意ADC采样同步和PWM更新时序,而谐振参数测量与温升管理则是工程实践的关键。

weixin_29189987的博客 257

创建索引时,ES,分片和副本定义原则

节点数量:在生产环境中,至少有 3 个节点。分片数量:默认 5 个分片,根据数据量和查询吞吐量来调整,一般设置为 1-10 个分片。副本数量:默认每个主分片有 1 个副本,增加副本提高容错性和查询性能。这些设置需要根据具体的应用场景、数据量和查询需求来调整。

C18298182575的博客 2184

11.嵌入式控制器EC实战 KBC矩阵键盘Keyboard开发流程

文章目录笔记本矩阵键盘概述矩阵键盘的扫描方式行列扫描方式逐行逐列扫描方式EC中矩阵键盘是如何扫描并得到码值的(代码分析) 笔记本矩阵键盘概述 在EC中支持两种形式的键盘,一种是PS/2接口的键盘,这种键盘几乎已经被USB接口的键盘所取代,所以PS/2接口的键盘不在我们的讨论范围。 另一种键盘则是矩阵键盘,也是笔记本电脑的内置键盘,该键盘类似于学习单片机时使用的4*4的那种键盘,笔记本使用的矩阵键盘有三种规格,分别是16*8、17*8和18*8。16、17和18代表着该款键盘的列数,8代表着键盘的行数,我们这

qq_30135687的博客 3810

Elasticsearch 的索引和分片管理

同时也可以设置索引的分片个数和副本个数,以及优化分片的分布。中,索引可以被分成多个分片,并均匀分布在集群中的多个节点上。说明:修改分片个数只能在创建索引之前进行,一旦索引创建后,分片个数就不能再修改。中,索引是存储和组织数据的逻辑结构。number_of_replicas定义了每个分片的副本数(默认为1)。,可以使得索引上的所有副本分片都被分配给不同的节点,实现分片的最佳分布。说明:副本个数可以在索引创建之后进行修改。通过索引和分片的管理,我们可以在。发送获取索引分片信息的请求。

互联网知识分享 1341

【Agent从入门到实践】01 从“工具函数”到“智能体”:Agent与传统程序的核心区别

传统程序是“你教它怎么做,它才做什么”,Agent是“你告诉它做什么,它自己想怎么做”。从技术层面来说,这个区别的背后,是Agent融合了大语言模型(LLM)、记忆能力、工具调用能力、决策能力等技术,才实现了“自主思考”和“灵活执行”,而这些技术,咱们会在后面的章节中一步步拆解,手把手教大家实现。

人工智能AI技术 989

基于特征模仿的YOLOv5中间层知识蒸馏:原理、实现与实验全解析

目标检测中的模型轻量化是一个关键挑战。本文提出一种基于特征模仿(Feature Imitation)的YOLOv5中间层知识蒸馏方法,通过让学生模型学习教师模型的中间层特征表示,显著提升轻量级检测器的性能。我们将详细阐述蒸馏损失函数的设计、特征对齐策略、训练流程,并提供完整可运行的代码实现。同时,推荐多个适合蒸馏训练的数据集,并通过实验验证方法的有效性。

YOLO 187

【Elasticsearch】基础概念(一)

ES中分片数和副本数需要按照实际情况进行合理分配,参考上述公式。ES中的type默认填写_doc即可,相比于index变多不如使index更大更有利于ES查询。记忆ES索引和文档时,尽量不要与MySQL相关概念一起记忆。ES在已有索引上只能新增字段可以通过命令或者ES自动创建来实现,不允许修改字段。

无知而狂妄 395

Robot Framework 7.0 报告解析

本文深入解析 Robot Framework 7.0 新增的 JSON 报告功能,手把手教你如何从 output.xml 转换为结构清晰的 output.json,并通过 Python 脚本提取关键测试指标。文章附完整示例、命令、解析脚本,支持导出为 CSV 和 Markdown,方便接入可视化看板、群通知和 CI 流程。适用于测试自动化、质量平台建设和回归趋势分析场景。

点点寒彬的博客 265

创建es集群

mac 环境,es6.6.0 * 3 es下载 : https://repo.huaweicloud.com/elasticsearch/7.2.0/?C=N&O=D ik分词器下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.6.0/elasticsearch-analysis-ik-6.6.0.zip pinyin分词器下载地址:https://github.com/medcl/elastic

乐乐的博客 473

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

搜索引擎搭建

一、java环境安装 二、elasticsearch-rtf安装(github) https://github.com/search?q=elasticsearch-rtf 三、elasticsearch-head安装(github) 需要安装node.js 更改安全策略,否则elassearch-head不能连接elasticsearch elasticsearch-rtf\conf...

__tian__的博客 686

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

ElasticSearch入门之基本概念和RESTful api

ElasticSearch入门之基本概念和RESTful api1、简介2、基本概念2.1索引2.2文档2.3文档类型2.4字段2.5映射2.6接近实时 NRT2.7 集群 cluster2.8 节点 node2.9 分片和复制 shards&replicas3、RESTful api3.1准备工作3.2创建索引 1、简介 ElasticSearch是一个基于Lucene的搜索服务器,它提...

静幽水 2221

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

ElasticSearch 学习笔记(三)-----ES的设计原理以及分词器说明

概述 接上一篇《ElasticSearch 学习笔记(二)-----Elasticsearch的简介以及应用》,这篇,我们来学习ElasticSearch中的一个重要知识点,分词。 标题

码农飞哥 3273

Elasticsearch 集群健康检查、CURD以及多种搜索方式

上一课时已经介绍了Elasticsearch、Kibana安装 集群健康检查 es提供了一套api叫cat api可以查看es中的各种数据; ?v 参数是为了显示列头; 集群健康状态就是看status green 每个索引的primary shard和replica shard都是active状态 yellow 每个索引的primary shard都是active状态,部分replica shard不是active状态 red 不是每个索引的prima...

JAVA拾贝 1万+

elasticsearch索引、文档、REST API、节点、分片、文档CURD

索引 Index — 索引是文档的容器,是一类文档的结合 每个索引都有自己的Mapping定义,用于定义文档的字段名和字段类型,Setting定义不同的数据分布 Shard :索引中的数据分散在shard分片上 GET movies # 获取movies索引信息 { "movies" : { "aliases" : { }, "mappings" : {...}, # mappings定义文档字段类型 "settings" : { # settings定义不

biny的博客 1391

深入探索ES之关于Elasticsearch的基本了解

关于Elasticsearch的基本了解 Elasticsearch是实时的分布式索引分析引擎,内部使用Lucene做索引与搜索。 实时:指的是新增的数据会很快被检索到; 分布式:可以动态调整集群规模,弹性扩容。 Lucene:是Java语言编写的全文搜索框架,用于处理纯文本的数据,但它只是一个库,提供建立索引、执行搜索等接口,但是不提供分布式服务。 ES中的基本概念 cluster:代表一个集...

蹊源的奇思妙想的博客 2570

(3)elasticsearch相关概念和索引的CURD

相关概念和索引的CURD

bluede2015的博客 240

Elasticsearch基本概念及底层 【总结】

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,其在 DB-Engines “兵器”排行榜中长期位列第一。

2301_81352793的博客 2076

一篇了解分布式实时搜索引擎——Elasticsearch

什么是Elasticsearch? Elasticsearch是一款分布式实时搜索引擎,内部基于Lucene做索引与搜索。 上面这段简短的介绍有几个关键字值得注意:实时,实时意味着ES的数据在入库后1s内就可以被搜索到。分布式,ES支持动态调整集群规模,弹性扩容。Lucene则是一款全文搜索框架,提供建立索引和执行搜索的功能,但是并不包含分布式服务。目前除了搜索,ES还提供了大量的聚合功能,所以它不仅仅是一款搜索引擎,还可以进行数据分析、统计,生成指标数据,所有这些功能都在快速迭代。 文章目录1. 基本

vic_torsun的博客 2445

ElasticSearch(搜索引擎)

ElasticSearch:智能搜索,分布式的搜索引擎Elaticsearch,简称为 ES, 是一个开源的高扩展的分布式全文检索引擎,特点:近乎实时的存储、检索数据;扩展性好,可以扩展到上百台服务器,处理PB级别的数据;使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能;通过简单的来隐藏Lucene的复杂性,从而让全文搜索变得简单。Lucene就是一个jar包,里面包含了各种建立倒排索引的方法,java开发的时候只需要导入这个jar包就可以开发了。

Xbu_123的博客 4668

ES 7.9.0 初探之索引创建与数据的CURD

上一篇已经把elasticsearch与kibana环境搭建好,但是还没有进行具体的操作,今天咱们就搞起来!! 1.环境说明 名称 版本 docker 19.03 elasticsearch 7.9.0 kibana 7.9.0 2.基本概念 我要抄点内容给各位大爷瞧瞧了。 ...

圆师傅的博客 1274

Elasticsearch打造全文搜索引擎(二)

一、Es的文档、索引的CURD操作 1. elasticsearch概念 集群:一个或多个节点组织在一起 节点:一个节点是集群中的一个服务器,有一个名字来标识,默认是一个随机的漫画角色的名字 分片:将索引划分为多份的能力,允许水平分割和扩展容量,多个分片相应请求,提高性能和吞吐量。 副本:创建分片的一份或多份的能力,在一个节点失败其余节点可以顶上。 ela...

dian19881021的博客 303
上一篇: WireShark网络分析~部署方式
下一篇: ElasticSearch 集群的索引别名管理
linuxMinx
博客等级 码龄15年 195粉丝 79原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值