elasticsearch7实战(二)——ES元信息查询

【ES】Elasticsearch 元数据 前几天写了文章介绍了 ES 的核心概念,没看过的可以看下面的文章。 【ES】Elasticsearch 核心概念 对应元数据,文中一笔带过了,没有说清楚。今天继续讲一下。 比如我们查一个数据,如果是采用下面的方法: GET {这里填index}/_search { "query": { "match_all": {} } } 那么会返回 index 下所有数据。 如果采用下面的方法: GET {这里填index}/{这里填type}/{这里填id} { "query": { " 阅读详情

前言

在上一篇文章中着重介绍了ES的数据读写模型。是一篇纯理论的文章,为什么先写这样一篇文章呢,主要与我个人的学习习惯有关——学习任何东西首先要大致明白他的基本概念和原理。ES中涉及的基本概念相对比较少就没有单独摘出来讲,如果有必要后期可能会加上。所以上一篇文章主要介绍了数据读写,从本章开始进入查询语法的介绍。

元信息查询

本章节中为了统一风格和避免敏感信息泄露,我会将es的ip:port字符串使用{{ _.es_url }}代替。
所有元信息查询的api都以_cat开头。

1.查询所有元信息api。
顾名思义该api的返回结果为所有可用的,用于查询元信息的api地址。

http://{{ _.es_url }}/_cat/

查询结果如下:

=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/tasks
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/thread_pool/{thread_pools}
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}
/_cat/templates
/_cat/ml/anomaly_detectors
/_cat/ml/anomaly_detectors/{job_id}
/_cat/ml/trained_models
/_cat/ml/trained_models/{model_id}
/_cat/ml/datafeeds
/_cat/ml/datafeeds/{datafeed_id}
/_cat/ml/data_frame/analytics
/_cat/ml/data_frame/analytics/{id}
/_cat/transforms
/_cat/transforms/{transform_id}

以上是全部元信息查询相关api,下面会摘出几个常用的元信息查询api
单独讲解。

2.查看分片信息
该接口为查询到关于分片的七个字段,如下:

  • index:分片所在索引
  • shard:分片编号,从0开始
  • prierp:分片类型,p表示主副本,r表示普通副本
  • state:分片状态
  • docs:分片中文档数
  • store:分片大小
  • ip:分片所在主机
  • node:同上
http://{{ _.es_url }}/_cat/shards?v

3.查询集群节点信息
api

http://{{ _.es_url }}/_cat/nodes?v

下面是该接口可以返回的信息,master字段表示主节点。下面可以看到5是主节点。

ipheap.percentram.percentcpuload_1mload_5mload_15mnode.rolemastername
192.168.0.5369932.532.452.21dilmrt*slave5
192.168.0.3659900.230.230.31dilmrt-slave3
192.168.0.7699922.151.751.58dilmrt-slave7
192.168.0.6679411.661.301.06dilmrt-slave6
192.168.0.14619931.321.551.73dilmrt-slave14
192.168.0.8679923.542.361.92dilmrt-slave8

04.查询磁盘分配情况

api

http://{{ _.es_url }}/_cat/allocation?v

集群分配情况主要包含,集群分片数量、集群占用磁盘空间大小等信息。

shardsdisk.indicesdisk.useddisk.availdisk.totaldisk.percenthostipnode
3125490tb539tb546tb1085tb49192.168.0.8192.168.0.8slave8

05.查询索引信息
api

http://{{ _.es_url }}/_cat/indices?v

结果如下:

healthstatusindexuuidprirepdocs.countdocs.deletedstore.sizepri.store.size
yellowopentest-20210112seASt97o5SkCF1hupv3ix4A51123537313.7gb4.7gb
yellowopentest-202101113fwxq3-S7Sx6eEIpfCJ5kjQ51123648713.9gb6gb
greenopentest-20210114Okbcne7fT7uaFrXiRlJbt6w511286051410.9gb5.4gb
greenopentest-20210113IJ9ov8s45TyKFjjyT1tqOIQ51126131612.2gb6.1gb
greenopentest-20210110SqxHe3gV5QcGckz0G1ISS8A511258401658.8gb7.4gb

06.查看master信息
这个信息显示的非常简单,查看集群节点信息的api不仅可以查看master节点,还可以查看其它节点。
api

http://{{ _.es_url }}/_cat/master?v

查询结果如下

idhostipnode
N3dwvGKLQ445GlP972R-DXqg192.168.0.6192.168.0.6slave6

07.查看集群和单个索引的文档总数
查询文档总数不一定必须使用元信息查询api进行查询,以后还会讲到track_total_hits参数,用它也是可以查的。
api

http://{{ _.es_url }}/_cat/count/zhy-detect*?v

注意:
http://localhost:9200/_cat/count?v查看集群文档总数
http://localhost:9200/_cat/count/test*?v查看test开头的所有索引的文档总数

es连接工具与Kibana集成:完整指南(从零开始) 深入讲解如何使用es连接工具实现与Kibana的无缝集成,涵盖配置步骤与常见问题。通过实际操作帮助用户快速上手es连接工具,提升数据可视化效率。 阅读详情

相关推荐

Elasticsearch数据库怎么访问:小白指南之 REST API 操作

想了解elasticsearch数据库怎么访问?通过REST API可以轻松实现数据的增删改查。掌握核心操作命令,快速上手elasticsearch数据库怎么访问的实际应用技巧。

weixin_31185473的博客 821

查看Elasticsearch节点的状态

其中,-X参数表示设置HTTP请求方法为GET,9200是Elasticsearch节点的默认HTTP端口号,_cat/nodes是查询节点状态的API路径,v参数表示输出详细信息。其中,node.role字段表示节点的角色,*表示当前节点为主节点。

喝醉酒的小白 4034

Elasticsearch--入门-_cat命令查看节点相关信息---全文检索引擎ElasticSearch工作笔记004

然后我们再看看,我们使用_cat来查看一些节点信息 get请求,http://192.168.56.10:9200/_cat/health 可以看到上面的信息,节点的名字elasticsearch,然后健康状况是green,健康的,然后,后面的1 1 3 3...是集群的分片信息 http://192.168.56.10:9200/_cat/master这个是查看主节点的信息 可以看到84caf...是主节点的信息,可以看到上面那个图有写主节点的name是这个,然后 前...

添柴程序猿的专栏 642

ElasticSearch基础知识

ElasticSearch客户端操作 实际开发中,主要有三种方式可以作为elasticsearch服务的客户端: 第一种,elasticsearch-head插件 第二种,使用elasticsearch提供的Restful接口直接访问 第三种,使用elasticsearch提供的API进行访问 在测试的过程中不知道为什么,elasticsearch-head有时候发请求的时候会一直等待,不返回结果,而使用postman就不会有这种结果 索引的操作 创建索引index时映射mapping { "m

梦想是很难很难的,所以先勇敢一点 1951

【Elasticsearch】 Elasticsearch中数据是如何存储的

1.概述 转载:https://elasticsearch.cn/article/6178 转载防丢失 前言 很多使用Elasticsearch的同学会关心数据存储在ES中的存储容量,会有这样的疑问:xxTB的数据入到ES会使用多少存储空间。这个问题其实很难直接回答的,只有数据写入ES后,才能观察到实际的存储空间。比如同样是1TB的数据,写入ES的存储空间可能差距会非常大,可能小到只有300~400GB,也可能多到6-7TB,为什么会造成这么大的差距呢?究其原因,我们来探究下Elasticsearch中的.

九师兄 3730

基于Java的Elasticsearch项目实战代码详解

Elasticsearch基于Lucene构建,采用倒排索引机制实现高效全文检索,支持毫秒级响应海量数据查询。其分布式架构通过分片(Shard)和副本(Replica)机制实现水平扩展与高可用,每个索引可拆分为多个主分片,分布在不同节点上并行处理请求,显著提升读写吞吐能力。该配置定义了索引的分片模型,决定数据横向切割粒度,提供故障转移与读负载均衡能力,是性能与可靠性的关键平衡点。在Java中使用TransportClient创建索引,主要依赖类。

weixin_35749545的博客 745

Elasticsearch - Java API 操作 ES7.15.0、ES7.x 索引,文档;高级搜索(六)

Elasticsearch - Elasticsearch详解;安装部署(一)_MinggeQingchun的博客-优快云博客

MinggeQingchun的博客 3772

Jetson Nano摄像头选型与配置全攻略:CSI与USB接口实战指南

在嵌入式视觉与边缘计算项目中,摄像头作为核心传感器,其选型与配置直接影响系统性能。CSI(Camera Serial Interface)和USB(Universal Serial Bus)是两种主流接口,前者通过MIPI CSI-2协议直接与SoC通信,具备低延迟、高带宽特性,适合实时性要求高的应用;后者基于通用串行总线标准,即插即用,通用性强。在NVIDIA Jetson Nano平台上,合理选择摄像头接口并优化驱动配置,能充分发挥其GPU加速优势,提升图像处理流水线效率。本文聚焦Jetson Nano

weixin_29190651的博客 323

Elasticsearch 7.X 聚合查询 及 ElasticsearchRestTemplate 操作

Elasticsearch 7.X 聚合查询

小毕超博客 4599

win11本地部署openclaw实操第1集

OpenClaw 是一款开源、本地优先、可自托管的 AI 智能体(AI Agent)网关 / 自动化框架,核心是让 AI 从 “只聊天、给建议” 变成 “能在你电脑上真做事” 的数字助手。

weixin_44626085的博客 7126

2-6-1-1 QNX编程入门之进程和线程(一)

文章围绕进程和线程展开介绍。先是将进程类比为房子,线程类比为居住者,阐述其基本概念,如进程占用内存,线程可共享内存。接着讲解同步相关内容,介绍了互斥,线程通过互斥锁来控制对特定资源的访问,像使用浴室一样。还提到优先级,线程按优先级和等待时长来决定获取资源顺序。此外,说明了信号量,以厨房为例,区分计数为 1 和大于 1 的信号情况,且指出信号量可当互斥锁用,但互斥锁是特殊用途信号量,二者存在区别,最后提及后续会介绍其他同步机制。

星原飞火的博客 1323

一篇了解分布式实时搜索引擎——Elasticsearch

什么是Elasticsearch? Elasticsearch是一款分布式实时搜索引擎,内部基于Lucene做索引与搜索。 上面这段简短的介绍有几个关键字值得注意:实时,实时意味着ES的数据在入库后1s内就可以被搜索到。分布式,ES支持动态调整集群规模,弹性扩容。Lucene则是一款全文搜索框架,提供建立索引和执行搜索的功能,但是并不包含分布式服务。目前除了搜索,ES还提供了大量的聚合功能,所以它不仅仅是一款搜索引擎,还可以进行数据分析、统计,生成指标数据,所有这些功能都在快速迭代。 文章目录1. 基本

vic_torsun的博客 2445

交通小白首投TRB就中Oral?我的完整时间线与避坑指南(附Editorial Manager实操截图)

本文详细解析了交通领域新手如何高效完成TRB国际会议投稿的全流程,从选题策略到投稿系统实操,再到评审过程解析和常见误区避坑指南。特别针对初次投稿者提供了实用建议,包括时间规划、选题考量、Editorial Manager系统操作技巧,以及如何应对评审意见。文章还分享了从录用到会议参与的关键步骤,帮助研究者提升投稿成功率。

weixin_27303545的博客 386

分布式搜索引擎-ES的分布式架构原理能说一下么?

ES的分布式架构原理能说一下么? elasticsearch设计的理念就是分布式搜索引擎,底层其实还是基于lucene的。 核心思想就是在多台机器上启动多个es进程实例,组成了一个es集群。 es中存储数据的基本单位是索引,比如说你现在要在es中存储一些订单数据,你就应该在es中创建一个索引,order_idx,所有的订单数据就都写到这个索引里面去,一个索引差不多就是相当于是mysql里的一张表。index -> type -> mapping -> document ->

qq_38261137的博客 490

闲人闲谈PS之一项目库存跨公司业务STO解决方案--SAP闲人的开篇

写这篇文章之前,简单说一下发这篇文章的动机。也算是在SAP这一行干了快10多年,在对一个模块了解越来越深入,越发觉自己的SAP知识浅薄。总的来说,和多数顾问一样,对于**标准功能**的应用业务场景理解还是存在或多或少的知识盲区。 因为一个偶然,看到SAP团子君的文章,分享了很多干货文章。这也是自己一直想做的时候,不管水平高低与否,分享本身就意味着提升。好了废话不多说,先在优快云上发一篇吧,困惑自己将近10年的问题的解决方案。 业务场景:在项目型企业中,通常会有这样的业务,母公司和客...

SAP闲人的博客 9267

从jieba分词到BERT-wwm——中文自然语言处理(NLP)基础分享系列(12)

今天是本系列的最后一期,完整代码呈现Huggingface transformers平台上微调BERT-wwm-ext的过程方法。

weixin_49518391的博客 3763

es搜索引擎_Lucene搜索引擎的分析与应用

背景公司业务需要,需要一套可伸缩的、开源搜索引擎解决方案。经过讨论选择了Elastic Search(下面简称ES)。搭建索引的环节非常方便,相对于原先自研C++搜索引擎方案需要在配置文件里配置索引字段名称和数据类型,ES在Kibana上的http方式简直就是降维打击。一切看起来都很美好,原本打算一直就这样黑盒的使用ES,直到有一天发现新的召回方案无法快速提供文档特征offset,画风就开始有点变...

weixin_39852647的博客 147

不使用工具箱,通过MATLAB纯编程实现lstm网络的训练过程

长短期记忆网络(LSTM,Long Short-Term Memory)是一种时间循环神经网络,是为了解决一般的RNN(循环神经网络)存在的长期依赖问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。

平时工作较为繁忙,私信消息一般晚上回复,谢谢大家~~ 1012

es 仅返回单个字段 查询_聊聊 Elasticsearch 的查询毛刺

如果业务对查询延迟很敏感,Elasticsearch 查询延迟中的毛刺现象就是比较困扰的一类问题,由于出现毛刺的时间点已经过去,无法稳定复现,对于根因的分析比较困难,无法用系统化调试的思想,从现象出发逐步推理,定位问题,能做的通常就是看一下监控系统对应时间点的指标情况,而在 es 中,导致查询延迟发生波动的因素非常多,今天我们来列举一下可能的因素,并尝试用对应的方法来定位和解决他们。通常...

weixin_39595320的博客 1688

Chrome更新出现错误代码3: 0X80070422 -- system level的解决方案

本文主要介绍了Chrome更新出现错误代码3: 0X80070422 – system level的解决方案,希望能对使用Chrome的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 1万+

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Elasticsearch 倒排索引中词条索引原理分析 — 基于 Lucene FST(ES 7 / Lucene 8)

Elasticsearch 倒排索引中词条索引原理分析 — 基于 Lucene FST(ES 7 / Lucene 8)

J_bean的博客 850

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Dify平台搜索引擎集成选项:支持Elasticsearch吗?

Dify虽未原生支持Elasticsearch,但通过自定义检索器可实现高效集成。结合其关键词匹配与向量搜索优势,构建精准稳定的混合检索系统,显著提升RAG场景下的召回率与准确性,尤其适用于专业术语多、表达非规范的企业级应用。

weixin_33597080的博客 505

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Elasticsearch 需要了解的都在这

Master节点并不知道主分片节点位于哪里,它只能向所有节点上的所有Shard去询问你的website下标是不是0,那么这个询问的请求量就等于 节点数 * Shard数,如果你的规模非常庞大,那么这个将会很耗时,这个时候可能会获取到多份下标为0的请求响应,5.X版本之后主分片的选举是根据一个List,在这个集合中的分片都是元信息最新的分片数据。其实他是分了2个步骤做这件事,先选出ID最大的主节点,然后再从元信息最新的节点将元信息数据复制到选举出来的主节点。

琪琪的博客 1662

深入理解 Elasticsearch 写入与查询机制

数据可靠性:Translog 实时刷盘保证数据不丢,副本分片保证高可用;性能平衡:Refresh 频率(默认1秒)决定「写入→可查询」的延迟,高频 Refresh 会生成小 Segment,影响查询性能;不可变性:Segment 和文档不可修改,更新/删除是「标记+新增」,Merge 时物理清理;批量写入:Bulk API 是提升写入性能的核心,单批大小建议 5~15MB。

weixin_43144460的博客 540

Elasticsearch 在滴滴的应用与实践

滴滴 Elasticsearch简介简介Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 接口的全文搜索引擎,其每个字段均可被索引,且能够横向扩展至数以百计的服务器存储以及处理 TB 级的数据,其可以在极短的时间内存储、搜索和分析大量的数据。滴滴 ES 发展至今,承接了公司绝大部分端上文本检索、少部分日志场景和向量检索场景,包括地图 POI 检索、订单检索...

过往记忆大数据 782

这就是搜索引擎——搜索引擎索引(2)

查询处理 为搜索引擎构建索引,其目的是能更快速的提取与用户查询相关的文档信息,假设搜索引擎已经建立好了索引,如何根据倒排索引来相应用户的查询呢? 目前有两种查询机制: 一次一文档 一次一单词 跳跃指针(这种是辅助求并集的方式) 假设用户输入查询“搜索引擎 技术”,分词后,“搜索引擎”这个单词对应的倒排列表中的文档ID依次为{1,3,4},“技术”这个单词对应的倒排列表中,文档ID列表为{1,2...

No_Game_No_Life_的博客 2311
上一篇: elasticsearch7实战(一)——ES读写模型
下一篇: elasticsearch7实战(三)——通用选项
iFence
博客等级 码龄9年 8051粉丝 111原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值