Elasticsearch的倒排索引结构

最新推荐文章于 2025-07-09 18:00:21 发布
原创 最新推荐文章于 2025-07-09 18:00:21 发布 · 287 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了倒排索引的结构与特性，包括documentlist、IDF、TF等关键概念，以及其不可变性带来的优缺点。了解倒排索引如何提升搜索效率，以及在大数据环境下的应用。

倒排索引，是适合用于进行搜索的

倒排索引的结构

（1）包含这个关键词的document list
（2）包含这个关键词的所有document的数量：IDF（inverse document frequency）
（3）这个关键词在每个document中出现的次数：TF（term frequency）
（4）这个关键词在这个document中的次序
（5）每个document的长度：length norm
（6）包含这个关键词的所有document的平均长度           *

倒排索引不可变的好处

（1）不需要锁，提升并发能力，避免锁的问题
（2）数据不变，一直保存在os cache中，只要cache内存足够
（3）filter cache一直驻留在内存，因为数据不变
（4）可以压缩，节省cpu和io开销

倒排索引不可变的坏处：每次都要重新构建整个索引

ElasticSearch 倒排索引
SmartSi
10-19 3214
Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成（An inverted index consists of a list of all the unique words that appear in any document, and for each word
Elasticsearch倒排索引详解
qq_50604294的博客
06-28 3406
1. 倒排索引常被称为反向索引、置入档案或反向档案，是一种索引方法，被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。它是文档检索系统中最常用的数据结构。通过倒排索引，可以根据单词快速获取包含这个单词的文档列表。2. 倒排索引 VS正排索引特性正排索引（Forward Index）倒排索引（Inverted Index）存储内容文档到词的映射关系词到文档的映射关系存储结构每个文档记录包含的所有词每个词记录包含它出现的所有文档 ID查询效率。
倒排索引组成结构以及其索引不可变原因
weixin_30918415的博客
08-17 439
倒排索引的结构 （1）包含这个关键词的document list（2）包含这个关键词的所有document的数量：IDF（inverse document frequency）（3）这个关键词在每个document中出现的次数：TF（term frequency）（4）这个关键词在这个document中的次序（5）每个document的长度：length norm（6）包含这个关键词的所有doc...
Elasticsearch - 倒排索引
qq_39679639的博客
12-05 1448
在上一篇笔记Elasticsearch基础和原理中介绍了Elasticsearch的一些基本概念和原理，我们知道Elasticsearch是基于Json格式存储，每一个文档可以理解成一个json对象。这看起来和MySQL(InnoDB)完全不同的存储方式，是如何做到近乎实时检索的呢？这篇笔记就来学习一下倒排索引 简单的倒排索引示例 假如我们在ES中存在这样三条记录： { "_id": 1, "log": "Oscar is fourteen years old", } { "_id": 2, "l
elasticsearch-倒排索引
重点在于记录
12-26 439
学习思路 名词概念解释 举个小栗子 一、名词解释 正向索引：我们熟悉的数据库索引，通过索引值（key）找到对应的数据（value） 反向索引（倒排索引）：value一般是一个文档（字符相对较长），通过分词得到多个词语，然后给每个词语建立正向索引都指向value；通过分词后的任意一个词都能查到value（实际中一般不是直接对应value，而是对应value的唯一标识，然后通过唯一标识查val...
Elasticsearch-倒排索引
weixin_64387654的博客
07-08 1291
单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图1展示了其含义。下图的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。从纵向即文档这个维度来看，每列代表文档包含了哪些单词，比如文档1包含了词汇1和词汇4，而不包含其它单词。从横向即单词这个维度来看，每行代表了哪些文档包含了某个单词。比如对于词汇1来说，文档1和文档4中出现过单词1，而其它文档不包含词汇1。矩阵中其它的行列也可作此种解读。搜索引擎的索引其实就是实现“单词-文档矩阵”的具体数据结构。
Elasticsearch的倒排索引结构（*）
weixin_42408447的博客
02-21 702
一切设计都是为了提高搜索的性能 倒排索引（Inverted Index）也叫反向索引，有反向索引必有正向索引。通俗地来讲，正向索引是通过key找value，反向索引则是通过value找key。 先来回忆一下我们是怎么插入一条索引记录的： curl -X PUT "localhost:9200/user/_doc/1" -H 'Content-Type: application/json' -d' { "name" : "Jack", "gender" : 1, "age" : 20
ElasticSearch之倒排索引
wang0907的博客
02-06 3361
分词：analysis，即将一句话分为多个词（term）的过程。分词器：analyzer，完成分词这个操作的工具。如下图：所以，分词是个动词，分词器是个名词。分词器在我们写入数据构建倒排索引的时候会用到，在输入一句话进行搜索的时候也会用到。https://blog.youkuaiyun.com/weixin_28906733/article/details/106610972 如果希望自定义一个与standard类似的analyzer,只需要在原定义自定义一个与standard类似的analyzer。
ES倒排索引结构设计太牛逼，一切都是为了搜索性能.docx
11-12
ES 倒排索引结构设计是 Elasticsearch 的核心组件之一，它的设计目的是为了提高搜索性能。倒排索引结构是指通过 value 找 key 的机制，而不是通过 key 找 value 的机制。下面我们将详细介绍 ES 倒排索引结构的设计...
深入剖析Elasticsearch倒排索引，Query DSL查询使用场景分析
最新发布
lrj41781196的博客
07-09 1361
Elasticsearch架构与查询优化全解析 本文系统介绍了Elasticsearch的核心架构、索引设计与查询优化。主要内容包括： 架构解析：分布式集群、分片机制、写入/读取流程 索引设计：倒排索引原理、字段类型选择、分片策略 查询优化：DSL分类、典型查询场景、性能优化建议 实战案例：基于用户日志系统的查询DSL应用 重点突出了Elasticsearch的高性能查询机制，包括倒排索引、Segment并行查询、Filter缓存等技术原理，并提供了业务场景下的查询优化方案。通过完整的用户日志系统案例，展示
ElasticSearch倒排索引
热门推荐
周天祥的博客
03-12 3万+
ElasticSearch倒排索引 Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。 例如，我们有两个文档，每个文档 content 字段包含： The quick brown fox jumped over the lazy dog Quick brown f...
Elasticsearch中的倒排索引
qq_57494486的博客
09-29 1155
Elasticsearch 是一个基于 Lucene 构建的开源、分布式、RESTful 搜索和分析引擎。Elasticsearch 之所以能在海量数据中快速搜索，得益于其内部采用的倒排索引技术。倒排索引（Inverted Index）是相对于传统的正向索引（Forward Index）而言的。在正向索引中，数据是以文档（Document）为单位进行存储的，每个文档包含了多个字段（Field），字段则是由词条（Term）组成。
【ElasticSearch】ElasticSearch的倒排索引
技术随笔
06-25 5040
ElasticSearch是一个基于Apache Lucene构建的开源搜索引擎，它提供了强大的全文搜索和分析功能。它不仅可以快速搜索和检索大量的结构化和非结构化数据，还具备水平扩展和高可用性的特性。
elasticsearch倒排索引
xusheng__zhang的博客
02-28 917
先简单介绍一下ElasticSearch。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 我们建立一个网站或应用程序，并...
Elasticsearch倒排索引
weixin_74120671的博客
04-09 1129
理解倒排索引的实现思想，是掌握现代搜索技术的关键。Elasticsearch通过将"词项→文档"的逆向映射与分布式架构结合，实现了比传统数据库高几个数量级的搜索性能，这正是它成为搜索引擎首选技术栈的核心原因。Elasticsearch将查询词拆分为：["elasticsearch", "教程"]"张三" → 对应ID是5（就像目录写着"张三在第5页"）3. 正排索引的查询流程（以name查询为例）一、传统数据库的正排索引（以MySQL为例）2. 倒排索引的构建过程（以文章标题为例）
Elasticsearch 倒排索引
清茶的博客
01-16 1840
一、简介 Elasticsearch 是建立在全文搜索引擎库 Lucene 基础上的搜索引擎，它隐藏了 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful API，不过掩盖不了它底层也是 Lucene 的事实。Elasticsearch 的倒排索引，其实就是 Lucene 的倒排索引。 二、为什么叫倒排索引 在没有搜索引擎时，我们是直接输入一个网址，然后获取网站内容，这时我们的行为是： document -> to -> words 通过文章，获取里面的单词，这便.
elasticsearch 倒排索引基本结构
04-02
### Elasticsearch 中倒排索引的数据结构详解 #### 1. 基本概念 倒排索引是一种用于加速全文检索的技术，它是 Elasticsearch 的核心组件之一。通过构建倒排索引，Elasticsearch 可以高效地处理大规模数据集上的查询操作[^1]。 #### 2. 数据结构组成 倒排索引由两部分构成：词项列表（Term List）和文档列表（Document List）。 - **词项列表**：包含了所有可能的关键词及其对应的元信息。这些关键词通常是通过对文档内容进行分词得到的结果。 - **文档列表**：对于每一个关键词，记录了包含该关键词的所有文档 ID 和其他相关信息（如频率、位置等）[^4]。 #### 3. 实际案例解析 假设存在如下三个文档： - 文档 1：“Elasticsearch is a powerful search engine” - 文档 2：“Elasticsearch uses inverted index” - 文档 3：“Search engines use indexes” 经过分词后，可以生成一个简单的倒排索引表： | Term | Document IDs | |--------------|-------------| | elasticsearch| 1, 2 | | is | 1 | | a | 1 | | powerful | 1 | | search | 1, 3 | | engine | 1, 3 | | uses | 2, 3 | | inverted | 2 | | index | 2, 3 | 在这个表格中，“Term” 列表示所有的唯一词语，而 “Document IDs” 表示哪些文档包含这个词语。例如，术语 “elasticsearch” 出现在文档 1 和文档 2 中[^3]。 #### 4. 高级特性 除了基本的文档映射外，倒排索引还可以存储更多细节来支持复杂的查询需求。例如： - **词频 (TF)**：某个词在一个特定文档中出现的次数。 - **文档长度**：用来计算权重的一部分。 - **位置信息**：某些场景下需要知道词语在原文中的确切位置以便执行短语匹配或其他高级功能。 以下是创建倒排索引的一个简化 Python 示例代码片段展示如何手动模拟这一过程: ```python from collections import defaultdict def build_inverted_index(documents): inverted_index = defaultdict(list) for doc_id, text in enumerate(documents, start=1): terms = text.lower().split() for term in set(terms): # Use unique terms per document if doc_id not in inverted_index[term]: inverted_index[term].append(doc_id) return dict(inverted_index) documents = [ "Elasticsearch is a powerful search engine", "Elasticsearch uses inverted index", "Search engines use indexes" ] inverted_index = build_inverted_index(documents) print(inverted_index) ``` 运行上述脚本会输出类似于下面这样的结果: ```plaintext { 'elasticsearch': [1, 2], 'is': [1], 'a': [1], 'powerful': [1], 'search': [1, 3], 'engine': [1, 3], 'uses': [2, 3], 'inverted': [2], 'index': [2, 3] } ``` 此代码仅作为教学用途，并未考虑实际应用中的诸多优化措施以及复杂情况下的性能考量。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值