Elasticsearch系列---倒排索引原理与分词器

最新推荐文章于 2025-10-22 16:23:20 发布

原创

最新推荐文章于 2025-10-22 16:23:20 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch、分词器

本文详细介绍了Elasticsearch中的倒排索引原理，以及在建立索引过程中如何进行分词处理以提升搜索效果。讨论了分词器的重要性和常见类型，包括内置的如标准分词器、简单分词器、语言分词器，以及外部分词器如IK中文分词器，强调了选择合适分词器对提升召回率和减少噪音的关键作用。

概要

本篇主要讲解倒排索引的基本原理以及ES常用的几种分词器介绍。

倒排索引的建立过程

倒排索引是搜索引擎中常见的索引方法，用来存储在全文搜索下某个单词在一个文档中存储位置的映射。通过倒排索引，我们输入一个关键词，可以非常快地获取包含这个关键词的文档列表。

我们先看英文的，假设我们有两个文档：

I have a friend who loves smile
love me, I love you

为了建立倒排索引，我们先按最简单的用空格把每个单词分开，可以得到如下结果：*表示该列文档中有这个词条，为空表示没有该词条

Term	doc1	doc2
I	*	*
have	*
a	*
friend	*
who	*
loves	*
smile	*
love		*
me

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

1黄鹰

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ElasticSearch分词器

qq_44027353的博客

08-13

1657

这样当我们去搜索某个关键词时，ES 首先根据它的前缀或者后缀迅速缩小关键词的在 term dictionary 中的范围，大大减少了磁盘IO的次数。为了进一步提高索引效率，ES对trem的前缀或后缀构建了trem index，用于对trem本身的索引，如下图所示。基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。Elasticsearch 的JSON文档中的每个字段，都有自己的倒排索引。记录所有文档的trem，记录trem和倒排列表的关联关系。

ElasticSearch 分词器

qq_50596778的博客

06-20

5546

ElasticSearch 分词器

参与评论您还未登录，请先登录后发表或查看评论

Elasticsearch还有哪些常用的分词器？

青鱼入云的博客

10-22

608

Elasticsearch 提供了丰富的内置分词器（Analyzer），同时支持第三方分词器（如中文分词器），覆盖不同语言、场景的文本处理需求。ES 内置了针对 30+ 语言的专用分词器，优化特定语言的拆分逻辑（如处理复数、时态、特殊字符）。API 测试分词效果，再结合业务场景（召回率/精准度需求）选择或自定义分词器。这类分词器适用于多数通用场景，基于简单规则拆分文本，无需额外配置。，常用的分词器可分为。

Elasticsearch6.3.0安装IK分词插件

风流三月1

06-29

1920

elasticsearch-analysis-ik 下载地址：https://github.com/medcl/elasticsearch-analysis-ik 分词方式 Analyzer: ik_smart , ik_max_word Tokenizer: ik_smart , ik_max_word 下载编译方式方式一，下载可用版本：下载地址 https://g...

谈谈ElasticSearch中分词与倒排索引的原理

wupanP的博客

08-06

621

ElasticSearch 是一个分布式搜索和分析引擎，其高效的搜索性能主要依赖于分词（tokenization）和倒排索引（inverted index）这两个核心技术。

基于分布式架构与倒排索引技术的全文搜索引擎服务-支持多语言分词-高并发查询-实时索引更新-数据爬取与清洗-相关性排序算法-Elasticsearch集成-RESTfulAPI接口-.zip

最新发布

11-16

本文针对分布式架构和倒排索引技术结合的全文搜索引擎服务项目进行了详细探讨。全文搜索引擎是网络时代的关键技术之一，它能够高效地从大量文本数据中检索出用户所需信息。该服务的核心包括分布式架构设计，确保了...

ElasticSearch-03-索引原理、分词器的学习、IK分词器下载与使用配置等、过滤查询

weixin_51418572的博客

06-10

518

ES的索引原理、分词器的学习、过滤查询

ElasticSearch之倒排索引

wang0907的博客

02-06

3386

分词：analysis，即将一句话分为多个词（term）的过程。分词器：analyzer，完成分词这个操作的工具。如下图：所以，分词是个动词，分词器是个名词。分词器在我们写入数据构建倒排索引的时候会用到，在输入一句话进行搜索的时候也会用到。https://blog.youkuaiyun.com/weixin_28906733/article/details/106610972 如果希望自定义一个与standard类似的analyzer,只需要在原定义自定义一个与standard类似的analyzer。

Elasticsearch 分词器

qq_43528713的博客

07-07

632

分词器, elasticsearch, ik分词器, pinyin分词器, 自定义分词器, 联想搜索,

信息检索 倒排索引

04-02

编写程序实现为给定目录下txt文件建立倒排索引文件il.txt 运行后会自动生成 1.txt,2.txt,4.txt,其中 1.txt,2.txt需要你自己输入需要排序的文档（如莎士比亚的文集），排序结果输出在il.txt中

(七) ElasticSearch 分词器

csdn570566705的博客

06-19

3757

分词器是 Elasticsearch 中的一个组件，用于将文本转换为词项，以便于搜索和索引。它负责将输入的文本进行拆分、标准化和处理，生成最终的词项列表。

Elasticsearch——倒排索引与分词

guochaoHNU的博客

05-30

371

目录正排索引和倒排索引倒排索引的构成单词词典倒排列表分词Analyze APIes自带分词器自定义分词正排索引和倒排索引 正排索引：文档ID到文档内容、单词的关联关系根据文档id获取文档内容 倒排索引：单词到文档ID的关联关系：根据单词可以获取到它属于哪个文档两者关系：将文档内容分词即可得到倒排索引。因此我们可以将两者结合实现一个搜索流程： 倒排索引的构成单词词典倒排列表分词分词是将文本转换成一系列单词的过程，也可以叫做文本分析，在es里面称为Analysis

一起学Elasticsearch系列-分词器

BookSea的博客

01-01

3146

在Elasticsearch中，分词器是用于将文本数据划分为一系列的单词（或称之为词项、tokens）的组件。这个过程是全文搜索中的关键步骤

ElasticSearch中常见的分词器介绍

热爱编程、热爱生活、热爱探索

11-11

2988

ElasticSearch是一个高效的分布式搜索引擎，其中分词器是它的核心组件之一，平常开发中选择一个合适的分词器可以很大程度上提高检索效率，所以特意花点时间快速了解ElasticSearch中各大常见的分词器，本文也将分别介绍ElasticSearch中常见的几大分词器的特点、适用场景，以及如何适用推荐阅读ElasticSearch快速入门_知识汲取者的博客-优快云博客custom可以根据具体需求自定义分词器，包括指定分词器、字符过滤器、标记过滤器等。适用场景。

Elasticsearch中的分词器的基本介绍以及使用

gaoqiandr的博客

01-28

3311

本文主要介绍的是elasticsearch中分词器的基本使用

redis+结巴分词做倒排索引

qq_35362055的博客

03-14

3308

起源之前爬取过一百万的歌曲，包括歌手名，歌词等，最近了解到倒排索引，像es，solr这种太大，配置要求太高，对于一百万的数据量有些小题大做，所以想到了redis做一个倒排索引。我的配置这里说一下我的配置，后面用的到： cpu：i7 8750HQ （六核十二线程）内存：8G ddr4 硬盘：ssd（.m2接口）思路简单来说就是把MySQL中的数据取出来，分词（包括去除停用词），将分词后...

ElasticSearch文本搜索与倒排索引原理详解

其核心内容涵盖文本搜索的基本原理、倒排索引的构建流程、分析器的工作机制及其在索引和查询阶段的应用，以及针对中文文本处理的特殊需求所采用的技术方案，如IK分词器和同义词扩展等。作为基于Apache Lucene构建的...