Elasticsearch

ElasticSearch——全文搜索引擎 一、为什么需要全文搜索引擎? 首先先来了解一个概念,在我们生活中一般来说有两种数据:结构化数据、非结构化数据 结构化数据:指具有固定格式或有限长度的数据,如数据库,元数据等。 非结构化数据: 非结构化数据又可称为全文数据,指不定长或无固定格式的数据,如邮件,word文档等。 对于结构化数据我们可以直接从数据库查询,而对于非结构化的数据此时就要用到全文检索的方式查询,比如对一个文档或者网页中的内容文本每个词建立一个索引,把这些非结构化的变成结构化的方式然后来查询。 全文搜索引擎百度百科定义:全文搜索引擎是目前 阅读详情

1 简介

Lucene
Java编写的信息搜索工具包(Jar包),Lucene只是一个框架,熟练运用Lucene非常复杂。
Elasticsearch
基于Lucene分布式海量数据近实时搜索引擎。采用的策略是将每一个字段都编入索引,使其可以被搜索。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

接入方式

在这里插入图片描述

功能

在这里插入图片描述

构成

在这里插入图片描述

常用案例

搜索
在这里插入图片描述
日志分析
在这里插入图片描述

2 入门

在这里插入图片描述

文档(记录)

在这里插入图片描述
在这里插入图片描述

api

在这里插入图片描述
批量操作(减少网络开销)
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意

在这里插入图片描述

索引(表)

在这里插入图片描述

索引模板

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分片

在这里插入图片描述
在这里插入图片描述

倒排索引

在这里插入图片描述
elasticsearch的倒排索引
在这里插入图片描述

分词

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Search api

在这里插入图片描述
在这里插入图片描述

url search

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

request body search

在这里插入图片描述
在这里插入图片描述

Mapping

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据类型

在这里插入图片描述

多字段类型


在这里插入图片描述

聚合分析

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

3 深入

term(不分词)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

全文查询(分词)

在这里插入图片描述
在这里插入图片描述

结构化查询

在这里插入图片描述
在这里插入图片描述

相关性及算分

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

多字段查询(bool query)

在这里插入图片描述
在这里插入图片描述

单字符串多字段查询

Dis Max Query
Multi Match
在这里插入图片描述

多语言和中文分词的搜索(分词)

在这里插入图片描述
在这里插入图片描述

搜索模板(Search Template)

在这里插入图片描述

索引别名(Index Alias)

在这里插入图片描述

搜索结果重新算分排序(Function Score)

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

纠错(Term&Phrase Suggester)

在这里插入图片描述

自动补全(The Completion Suggester)

在这里插入图片描述

上下文感知(Context Suggester)

在这里插入图片描述

排序

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

分页(Search After和Scroll api)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

聚合分析(Aggregation)

在这里插入图片描述

1. Metric Aggregation(函数,mix、max、avg)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2. Bucket Aggregation(分组)

在这里插入图片描述

Terms Aggregation(按照值分桶)

在这里插入图片描述

Range & Histogram(直方图) 聚合

在这里插入图片描述
range
在这里插入图片描述
Histogram
在这里插入图片描述

3. Pipeline Aggregation(聚合结果再聚合)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4. 聚合作用范围

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 聚合精准度

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4 分布式

集群、节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

分片(主分片和副本分片)

主分片创建后更改数量需要重新index
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

搜索机制

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

并发写

在这里插入图片描述

在这里插入图片描述

5 API

es

启动
cd C:\software\elasticsearch-7.12.0\bin
bin目录下 elasticsearch
查看启动状态
http://localhost:9200/
查看集群节点
http://localhost:9200/_cat/nodes
查看插件
elasticsearch-plugin list
安装插件
elasticsearch-plugin install analysis-icu
查看集群状态
http://localhost:9200/_cluster/health

kibana

kibana
启动
cd C:\software\kibana-7.12.0-windows-x86_64\bin
bin目录下 kibana

参数

boost 字段权重
在这里插入图片描述
Tie Breaker

** _seq_no**
和_version类似,严格递增的序列号,保证后写入doc的_seq_no大于先写入doc的_seq_no

** _primary_term**
每当priamry shard重新分配时,这个字段就会自增1

primary shard
分片数

replica shard
副本数

工具

Cerebro(https://github.com/lmenezes/cerebro/releases)

高可用

副本分片

可扩展

主分片

高性能

828华为云征文|使用Flexus X实例集成ES搜索引擎 Flexus X实例是华为云推出的一款面向中小企业和开发者的柔性算力云服务器。Flexus X实例作为新一代云服务器,旨在为用户提供更加灵活和高效的计算资源管理方式。它具备多项独特优势,如柔性算力设计、智能感知业务负载、可灵活自定义vCPU内存配比等,以满足多样化的业务需求。包含有:柔性算力设计、智能感知业务负载、可灵活自定义vCPU内存配比、高性能、丰富的公共镜像、智能识别和全面的安全防护等特点,可以说是非常全面了 阅读详情

相关推荐

Elasticsearch搜索引擎

本篇博客系统地介绍了Elasticsearch 7.14.0在windows环境下安装、基本使用、Springboot集成Elasticsearch以及ELK搭建。

weixin_44490884的博客 1670

详解最热门搜索引擎——ES

一、产生背景 ​ 互联网发展早期的时候,对于一般的公司储存的数据量不是那么的大,所以很多公司更倾向于使用数据库去存储和查询数据,如:现在去MySQL中查询数据,大概的查询方式就是:select * from table where filed like “%XXX%”或者其他方式,但是,如果我们在查询的时候没有用到或命中数据库建立的索引话,则会扫描整张表,即便是MySQL做过单表查询能力优化,但是他的极限也只在400万左右,且还会经常出现超时现象,让后为了解决这些问题,。很多公司就开始对数据库进

会编程的小郑 1万+

分布式搜索引擎之elasticsearch基本使用3

因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。

weixin_43956070的博客 1431

Linux安装elasticsearch搜索引擎并配置

`-v es-plugins:/usr/share/elasticsearch/plugins`:挂载逻辑卷,绑定es的插件目录。- `-v es-data:/usr/share/elasticsearch/data`:挂载逻辑卷,绑定es的数据目录。- `-v es-logs:/usr/share/elasticsearch/logs`:挂载逻辑卷,绑定es的日志目录。- `--network es-net` :加入一个名为es-net的网络中,与elasticsearch在同一个网络中。

m0_74939895的博客 1833

elasticsearch(ES)简介及安装-----笔记

ES是一款非常强大的开源搜索引擎,可以帮助我们从海量数据中快速找到需要的内容。ES结合kibana、Logstash、Beats,也就是elastic stack(ELK)。被广泛应用在日志数据分析、实时监控等领域。elasticsearch是elastic stack的核心,负责存储、搜索、分析数据。kibana负责数据可视化,elasticsearch负责存储、计算、搜索数据,logstash\Beats负责数据抓取。elasticsearch底层实现是Lucene计术。

weixin_44846205的博客 2385

分布式搜索引擎之elasticsearch基本使用1

什么是elasticsearch?一个开源的分布式搜索引擎,可以用来实现搜索、日志统计、分析、系统监控等功能什么是elastic stack(ELK)?是以elasticsearch为核心的技术栈,包括beats、Logstash、kibana、elasticsearch什么是Lucene?是Apache的开源搜索引擎类库,提供了搜索引擎的核心API分词器的作用是什么?创建倒排索引时对文档分词用户搜索时,对输入的内容分词IK分词器有几种模式?ik_smart:智能切分,粗粒度。

weixin_43956070的博客 1273

ES(elasticsearch)搜索引擎 结合java 使用

ES(elasticsearch)搜索引擎 结合java 使用 官方文档地址: https://www.elastic.co/guide/en/elasticsearch/client/java-rest/7.x/java-rest-high.html 重点概念: 文件索引块是因为使用了倒排索引 倒排索引: 例如 文件a 中有 单词 java php ,文件b中有 java php python ,文件c 中有java , python 那么 单词对应的文件为: java :a ,b,c

qq_42011565的博客 4827

ES搜索引擎技术

目前的工作中库很多业务普通关系型数据已经不能满足业务需求,因此很多场景需要用到搜索引擎技术,下面介绍一下ElasticSearch。

bigchen_1的博客 859

ElasticSearch 认识和安装ES

es是一个分布式、高性能的搜索引擎,广泛应用于大数据检索、日志分析、实时搜索等场景。与传统数据库相比,ElasticSearch 对于大规模数据的处理具有显著优势,特别是模糊查询、分词分析、语义理解等复杂搜索任务。本章内容主要是介绍了 Elasticsearch 的基础知识、它的起源以及如何安装和配置 Elasticsearch 和 Kibana。安装过程中使用 Docker 是一种方便快捷的方式,可以轻松启动单机模式的 Elasticsearch 服务,并结合 Kibana 进行可视化操作。

2301_80093566的博客 1842

(八)基于MuJoCo的LeRobot SO100仿真操控实战指南(操作优化)

本文详细介绍了如何在MuJoCo仿真环境中搭建并优化LeRobot SO100机械臂的操控。通过两种核心模式(纯键盘仿真与实机镜像同步)的实战演示,重点讲解了关键的参数标定方法,以实现虚拟模型与真实硬件的精准同步。文章还提供了性能优化技巧,旨在帮助开发者构建高效、安全的机器人算法开发与测试流程。

weixin_29083649的博客 317

【操作系统】 Operation System 第一章:概述

B站 陈渝老师 清华大学 https://www.bilibili.com/video/av6538245?from=search&seid=436175425155932048 相关资料(源自B站下方评论区) https://www.shiyanlou.com/courses/221 配套上机实验地址 https://b23.tv/av18273642/p1 这个适合跨考和基础薄弱的 h...

iwanderu的博客 4万+

ES 分布式搜索引擎【一】

分布式搜索引擎,elasticsearch、kibana、IK分词器的安装与使用。

m0_52861684的博客 1713

告别‘耀斑’降落:手把手教你用PX4+激光测距仪实现固定翼精准自动着陆

本文详细介绍了如何利用PX4飞控与激光测距仪实现固定翼无人机的精准自动着陆,解决传统气压计在低空环境下的测量误差问题。通过硬件选型、安装要点、PX4参数配置及实战调校,帮助开发者实现厘米级高度感知,优化降落曲线,提升着陆稳定性与安全性。

weixin_30336061的博客 519

分布式搜索引擎ES-elasticsearch入门

正排索引:相当于文档中的一条条记录;例子:汉语值得学习;汉语是语言;汉语学习视频;倒排索引:起源于实际应用中需要根据属性的值来查询记录。这种索引表的每一项都包括一个属性值和包含该属性值得各个记录地址。由于不是根据记录来确定属性,而是根据属性来确定记录的位置。可以记录文档的ids,词频跟位置例子:汉语值得学习;汉语是语言;汉语学习视频;单词文档ids词频TF;位置POS汉1,2,3语1,2,3值得11:1:<3>学习1,3是21:1;<3>言2。

TOMORROW6COME的博客 2051

基于LTspice的共模电感差模/共模插入损耗仿真指南

在电源与EMC设计领域,插入损耗是衡量滤波器件抑制噪声能力的核心指标。共模电感作为EMI滤波器中最常见的元器件之一,其差模与共模插入损耗特性直接影响整体滤波方案的合规性。然而,仅依赖规格书曲线往往难以覆盖真实应用中的阻抗条件,借助SPICE仿真工具进行电路级验证已成为工程师常用的手段。LTspice凭借其轻量、高效的交流分析能力,能够帮助设计者快速搭建共模电感等效模型,并通过调整耦合系数、寄生电容等参数,还原漏感与谐振行为。本文以Wurth Elektronik的WE 744821201型号为例,从基本测试

weixin_27252001的博客 292

立创开源:基于AD831/ADF4351的250-500MHz宽频调幅信号处理实验电路设计与实现

本文详细解析了基于AD831混频器和ADF4351本振源的250-500MHz宽频调幅信号处理实验电路的设计与实现。文章从项目需求出发,系统讲解了超外差接收架构、核心模块(包括射频前端、混频器、本振源、AGC环路及解调电路)的选型与原理,并提供了实战调试波形与性能验证,为射频电路学习者提供了从理论到实践的完整指南。

weixin_35706255的博客 225

ElasticSearch全文搜索引擎

Lucene是apache下的一个开源的全文检索引擎工具包(一堆jar包)。它为软件开发人员提供一个简单易用的工具包(类库),以方便的在小型目标系统中实现全文检索的功能。Lucene适用于中小型项目 ,ES适用于中大型项目(它底层是基于lucene实现的)虽然全文搜索领域,Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是,Lucene只是一个库。

2201_75971147的博客 3233

工业质检新利器:手把手教你用AD-DINOv3实现零样本缺陷检测(附MVTec AD实战)

本文详细介绍了AD-DINOv3框架在工业质检中的应用,通过零样本异常检测技术解决传统方法的标注成本高和泛化能力弱问题。文章包含技术原理解析、MVTec AD数据集实战部署、模型训练流程及工业部署优化技巧,帮助读者快速掌握这一创新技术。

seed的博客 763

分布式搜索引擎 elasticsearch

分布式搜索引擎 elasticsearch 第一部分 1.初识elasticsearch 1.1.了解ES 1.1.1.elasticsearch的作用 elasticsearch是一款非常强大的开源搜索引擎,具备非常多强大功能,可以帮助我们从海量数据中快速找到需要的内容 例如: 在GitHub搜索代码 在电商网站搜索商品 在百度搜索答案 在打车软件搜索附近的车 1.1.2.ELK技术栈 elasticsearch结合kibana、Logstash、Beats,也就是elasti

KYGALYX的博客 3865

iOS应用突然无法从App Store获取到内购(IAP)产品列表的解决

问题现象 Apple开发中,在应用中嵌入内购(IAP)功能的小伙伴们可能会发现,吃着火锅唱着歌,突然App就无法获取到产品列表了,而且产品请求操作并不会返回任何错误。 此时检查发现,并没有对App的内购逻辑做任何改动。 那么,这是什么原因导致的呢? Let’s find out!???? 问题分析 1. 排除其它原因 首先,你先得排除不是你IAP内购逻辑变更或其他原因导致的。 在SKProductsRequestDelegat代理实现的productsRequest方法里下断点: func produc

享受开发,颠倒银河 6141

什么是 PD 电压诱骗?

电压诱骗” 的意思就是,使用某些方法让 PD 充电器误以为设备需要更高的电压,从而让充电器提供比实际需要更高的电压。手机可能只需要 5V,但笔记本电脑可能需要 20V,通过 PD 协议,充电器能够根据设备的需求输出合适的电压和电流。在“电压诱骗”的情况下,你通过某种手段让充电器以为设备需要 12V,于是充电器会按照这个伪造的请求输出 12V,而不是默认的 5V。充电器评估自己的能力,如果可以提供设备需要的电压和电流,它会调整输出电压,从默认的 5V 切换到设备请求的电压(如 12V)。

qq_45430571的博客 2657

Elasticsearch ES 数据模型

Elasticsearch使用文档(Document)作为数据存储的基本单元,每个文档实际上是一条JSON格式的数据,它包含了一组键值对(字段和值)。文档是 Elasticsearch 索引中的一条记录,而索引是文档集合的容器。每个文档都会被分配一个ID,且文档的所有字段和数据都以JSON格式存储。与传统关系型数据库中的行不同,Elasticsearch中的文档不需要预先定义固定的表结构。在Elasticsearch中,映射定义可以在创建索引时指定,也可以在索引创建后动态地进行调整(但有一定的限制)。

Flying_Fish_roe的博客 1940

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Java集成Easy-Es实现ElasticSearch(ES)的数据搜索引擎操作?看这一篇就够了!保姆级别逐步教学!

集成前三问: 一、这个`ElasticSearch`是什么? >通俗来讲ElasticSearch是一个用于大量数据分析的搜索引擎,但是我个人觉得他更应该叫搜索服务器。因为他不仅仅是一个搜索工具,同时将数据会保存到本地的ElasticSearch存储内。

欢迎来到快乐星球 2008

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: 分布式(极客)
下一篇: 1. 虚拟机(极客)
big muscle
博客等级 码龄11年 145粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值