ElasticSearch之倒排索引查询

最新推荐文章于 2024-07-08 06:53:03 发布
原创 最新推荐文章于 2024-07-08 06:53:03 发布 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了关系型数据库和ElasticSearch的数据结构，前者是数据库 - 表 - 行 - 列，后者是索引 - 类型 - 文档 - 字段。还阐述了正排索引和倒排索引，强调ElasticSearch核心是倒排索引，并给出实例搜索过程，最后提及单词索引的数据结构和位置信息保存方式。

关系型数据库:

数据库====>表====>行====>列

ElasticSearch:

索引====>类型====>文档====>字段

正排索引: 根据文档ID查询单词

倒排索引:根据单词查询文档ID,返回多个对应的页面.

ElasticSearch的核心就是搜索,而搜索的核心就是倒排索引.

实例搜索过程:

         

倒排索引-查询过程

查询包含“搜索引擎”的文档

  1. 通过倒排索引获得“搜索引擎”对应的文档id列表，有1，3
  2. 通过正排索引查询1和3的完整内容
  3. 返回最终结果

其实对单词切割后,所有的单词都会在词典里面: Team  Dictionary里面,并且为所有的单词建立索引,数据结构是B+Tree. 名称为Team Index.  Posting List保存了每个单词在文档中的位置信息.

ElasticSearch之倒排索引
wang0907的博客
02-06 3397
分词：analysis，即将一句话分为多个词（term）的过程。分词器：analyzer，完成分词这个操作的工具。如下图：所以，分词是个动词，分词器是个名词。分词器在我们写入数据构建倒排索引的时候会用到，在输入一句话进行搜索的时候也会用到。https://blog.youkuaiyun.com/weixin_28906733/article/details/106610972 如果希望自定义一个与standard类似的analyzer,只需要在原定义自定义一个与standard类似的analyzer。
Elasticsearch倒排索引详解
qq_50604294的博客
06-28 3444
1. 倒排索引常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。2. 倒排索引 VS正排索引特性正排索引（Forward Index）倒排索引（Inverted Index）存储内容文档到词的映射关系词到文档的映射关系存储结构每个文档记录包含的所有词每个词记录包含它出现的所有文档 ID查询效率。
ElasticSearch的倒排索引和查询
你今天真好看呀
07-24 3397
1. Restful架构风格 1、使用restful风格的url代替传统的url 传统的url：http://localhost:8989/xxx/find?id=1 RestUrl：http://localhost:8989/xxx/find/1 2、使用http的四种方法代替服务器的CRUD操作 @GetMapping、@PostMaaping、@PutMapping、@GetMapping @RequestMapping可以支持所有的请求方式，可以通过method属性指定请求方式 local
深入浅出Elasticsearch 的倒排索引
qq_1757537040的博客
03-26 2416
分词：前置知识 在创建索引之前，会对文档中的字符串进行分词。ES中字符串有两种类型，keyword和text。 keyword类型的字符串不会被分词，搜索时全匹配查询 text类型的字符串会被分词，搜索时是包含查询 不同的分词器对相同字符串分词的结果大有不同，选择不同的分词器对索引的创建有很大的影响，这里使用ik分词器进行介绍： ik_max_word分词器: 最细粒度拆分 ik_smart分词器: 最粗粒度的拆分 单词-文档矩阵：前置知识 单词1 单词2 单词3 单词4
Elasticsearch如何动态维护一个不可变的倒排索引
三劫散仙
03-15 1378
上一篇文章中介绍了Elasticsearch中是如何搜索文本的，同时也简述了在es里面索引数据结构的特点不可变性。索引不可变性的缺点限制了单个索引存储的最大数据量以及更新的频次，所以es面临的问题是如何解决倒排索引不可更新的特点而同时仍然保持不可变特性带来的好处。答案就是使用多个索引代替原来的每次重写整个索引，es里面采用方式是增加新的索引来反映最近的变化，然后查询的时候一次查询所有的倒排索引，从...
【Elasticsearch】Elasticsearch倒排索引详解
热门推荐
屿小夏.的知识博客
07-08 5万+
倒排索引是全文搜索引擎的核心数据结构，其主要作用是从文档中提取关键词，并建立关键词到文档的映射关系。这种结构与传统的正排索引（即文档到关键词的映射）相反，因此称为倒排索引。在倒排索引中，每个关键词都关联着包含该关键词的文档列表，这使得搜索操作能够迅速定位包含特定关键词的文档，从而大幅提高查询效率。
Elasticsearch之倒排索引
01-20
倒排索引是全文搜索引擎如Elasticsearch实现高效搜索的关键数据结构。相较于传统的关系型数据库中的B+树索引，倒排索引在处理大规模、非结构化的文本数据时，展现出更高的性能优势。这是因为倒排索引能够快速定位到...
ElasticSearch——倒排索引和正向索引
万里顾一程的博客
11-04 4638
ElasticSearch——倒排索引和正向索引 1、正向索引 正向索引 (forward index) 以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档 这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护： 若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。 若是有文档删除，则直接找到该文档号文档对应的索引信息，将其直接删除 缺点： 检索效率太低，只能在一起简单的场景下使用 假设有文档一
Es之正排索引与倒排索引
weixin_38597669的博客
03-24 1629
本文主要描述了正排索引和倒排索引的概念和区别。
ElasticSearch正向匹配、反向匹配，空间查询等示例（java代码）.rar
10-29
实现如下需求： 2.（后端技术篇java）Postgres库数据同步到ElasticSearch 3.（后端技术篇java）ElasticSearch实现正向地址匹配服务 4.（后端技术篇java）ElasticSearch实现反向地址匹配服务（点周边查询服务） 5.（后端技术篇java）ElasticSearch实现矩形空间查询服务 6.（后端技术篇java）ElasticSearch实现圆形空间查询服务 7.（后端技术篇java）ElasticSearch实现多边形空间查询服务 8.（后端技术篇java）ElasticSearch实现线周边空间查询服务 下载如有问题，可私信博主。下载前建议先查看博客内容，其地址为：https://blog.youkuaiyun.com/QQ98281642/article/details/117514368
ElasticSearch 实战：ElasticSearch倒排序
qq_33240556的博客
04-01 1174
Elasticsearch 实战：Elasticsearch 倒排序在 Elasticsearch 中，倒排序（Reverse Sorting）指的是按照字段值的逆序进行结果集的排列。这意味着搜索结果将按照指定字段值从大到小或者从晚到早进行展示，而非默认的从小到大或从早到晚。这在许多场景下非常有用，比如查看最近的事件、按价格从高到低展示商品等。以下是实现 Elasticsearch 倒排序的具体步骤和示例。
Elasticsearch进阶（倒排索引、高级查询_DSL语言查询与过滤、中文分词IK插件、文档映射）
王小白来了
10-09 1017
1、ES9300端口号与9200区别 9300端口：ES节点之间通讯使用，是tcp协议端口号 9200端口：ES节点和外部通讯使用，暴露ES RESTful接口端口号 2、Elasticsearch倒排索引原理 全文检索检索底层采用排索 为什么？ 倒排索引比数据库中B-tree树查询效率还要快？ 倒排索引会对文档内容进行关键词分词，可以使用关键次直接定位到文档内容。 正向索引 正排表是以文档的...
【ElasticSearch】ElasticSearch的倒排索引
技术随笔
06-25 5048
ElasticSearch是一个基于Apache Lucene构建的开源搜索引擎，它提供了强大的全文搜索和分析功能。它不仅可以快速搜索和检索大量的结构化和非结构化数据，还具备水平扩展和高可用性的特性。
ES中的倒排索引是什么？
WangYouJin321的博客
02-24 4625
传统的检索方式是通过文章，逐个遍历找到对应关键词的位置。 倒排索引，是通过分词策略，形成了词和文章的映射关系表，也称倒排表，这种词典 + 映射表即为倒排索引。 其中词典中存储词元，倒排表中存储该词元在哪些文中出现的位置。 有了倒排索引，就能实现 O(1) 时间复杂度的效率检索文章了，极大的提高了检索效率。 加分项： 倒排索引的底层实现是基于：FST（Finite State Transducer）有限状态转移器数据结构。 ...
ES之倒排索引
weixin_42128977的博客
11-05 7643
我们对“cat”、 “deep”、 “do”、 “dog” 、“dogs”这5个单词进行插入构建FST（注：必须已排序）。文档中的每个字段，都有自己的倒排索引。，简单的了解了倒排索引的概念。这样当我们去搜索某个关键词时，为了进一步提升索引的效率，与其对应的文档列表建立。的前缀或者后缀构建了。
倒排索引查询原理
千丈之松的专栏
08-03 2万+
Lucene 查询过程 在lucene中查询是基于segment。每个segment可以看做是一个独立的subindex，在建立索引的过程中，lucene会不断的flush内存中的数据持久化形成新的segment。多个segment也会不断的被merge成一个大的segment，在老的segment还有查询在读取的时候，不会被删除，没有被读取且被merge的segement会被删除。这个过程类似...
es_倒排索引详解
chuige2013的博客
03-07 2495
这也许是你全网你能找到的最详细的倒排索引的底层解读。博主把倒排索引的讲解划分为以下七个部分，理解难度递增，可根据自身需要选择依次阅读或者针对性阅读。通常来说，应付一般的面试，理解第一部分即可。如果需要面试搜索相关业务的岗位，需要深层次理解倒排索引，可根据自身情况选择阅读。
Elasticsearch-倒排索引原理
迷路剑客个人博客
12-16 7323
转载声明 本文大量内容系转载自以下文章，有删改，并参考其他文档资料加入了一些内容： 时间序列数据库的秘密(2)——索引 作者：陶文 出处：infoq 1 概述 Elasticsearch是通过Lucene的倒排索引技术实现比关系型数据库更快的过滤。特别是它对多条件的过滤支持非常好，比如年龄在18和30之间，性别为女性这样的组合查询。倒排索引很多地方都有介绍，但是其比关系型数据库的b-tree索引快在哪里？到底为什么快呢？ 笼统的来说，b-tree索引是为读优化化的索引结构。当我们不需要支持快速的更新的时
ElasticSearch的倒排索引
最新发布
07-24
Elasticsearch 的倒排索引是一种用于高效查找文档中关键词的技术。它与传统的正向索引（例如将每个单词关联到包含该词的所有文档列表）相反，在倒排索引中，我们按照词频来组织数据。 ### 倒排索引的工作原理 1. **分词**：首先对输入文本进行分词处理，将其分解成一系列单独的词汇或短语。 2. **建立映射**：对于每种不同的词，创建一个指向所有包含这个词的文档的映射表。这使得可以快速找到所有包含特定词的文档集合。 3. **频率记录**：在映射表中不仅存储文档ID，还可能记录关键词出现的次数、位置等信息，以便更精确地定位匹配的文档。 ### Elasticsearch 中的应用 Elasticsearch 使用倒排索引作为其核心搜索机制之一，提供快速全文检索能力。以下是几个关键方面： #### 高效查询 - **简单而强大的查询语言**：支持复杂的布尔查询、通配符查询、范围查询等多种形式。 - **实时性和响应速度**：查询响应速度快，适合在线应用环境，能够即时更新索引和返回结果。 #### 扩展性和灵活性 - **分布式架构**：利用集群技术实现横向扩展，可以轻松处理大量数据和高并发请求。 - **动态调整配置**：无需重启即可动态修改设置，如增加节点、改变索引策略等。 #### 索引优化 - **智能缓存**：Elasticsearch 内置了高效的缓存机制，通过缓存热门查询的结果，显著提升查询性能。 - **自适应分析**：可以根据实际查询模式自动调整索引结构，提高检索效率。 #### 安全性和管理 - **权限控制**：支持细粒度的安全控制，保障敏感数据安全。 - **监控与诊断**：提供丰富的API和工具用于性能监控和故障排查。 ### 相关问题: 1. 倒排索引在搜索引擎中的作用是什么？ 2. Elasticsearch如何优化倒排索引以提高查询性能？ 3. 倒排索引对于大规模数据集的管理和查询有何优势和挑战？ --- 通过以上解答，您可以了解Elasticsearch中倒排索引的基本工作原理及其在实际应用中的重要作用。如果您有进一步的问题或需要更多深入的信息，请随时提问！
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值