Elasticsearch中文字典排序解决方案

最新推荐文章于 2025-01-09 19:33:11 发布

拥抱java

最新推荐文章于 2025-01-09 19:33:11 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/lln_avaj/article/details/85048721

本文介绍了在Elasticsearch中解决中文字典排序的方法，通过使用并修改pinyin插件，实现多音字和音调转换。在数据插入时，将中文转化为拼音全拼作为排序依据，详细阐述了转换规则，包括保留非中文字符、多音字词库支持及音调转换。同时，文章还提供了安装pinyin分词插件的步骤和索引字段设置指南。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1，实现原理

使用pinyin插件，修改其源代码，使其支持多音字和音调转换，在插入数据时进行拼音分词为排序值

转换规则：

a，将字符串里的中文转换为拼音全拼，其他字符保留，并且只返回一个连接的全部字符串

例如：中国aaa人民bbb银行111长沙222分行ddd ----------》 zhong1guo2aaaren2min2bbbyin2hang2111chang2sha1222fen1hang2ddd

b，支持多音字词库

c，将音调转换为数字如：

一声 ---> 1

二声 ----> 2

三声 ----> 3

四声 ----> 4

轻声 ----> 5

如上，在排序时可直接使用该字段排序

2，实现步骤

安装pinyin分词插件：
拼音分词插件：elasticsearch-analysis-pinyin-1.8.4.zip

下载上述插件解压到/elasticsearch/plugin/pinyin下
重启elasticsearch，如没该文件夹可手动创建

索引设置：

{
    "settings": {
        "index": {
            &#

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

拥抱java

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

elasticsearch实战---中文拼音A-Z排序（完美解决）

weixin_34075268的博客

10-15

5153

0.背景公司目前业务系统偏向后台系统，目前包含500W+数据，在许多列表中支持各种条件查询，含有大量的模糊搜索条件。由于在mysql中模糊查询效率低下，目前公司已使用es搜索引擎进行条件搜索。es版本如下： elasticsearch版本：6.3.2 java client版本:rest-high-level-client 6.3.2 问题：业务需要部分中文字段进行a-z拼音排序。 1.实现方案...

分布式之搜索解决方案es

swimming_in_IT_的博客

04-18

432

在默认情况下，我们创建一个库的时候，默认会帮我们创建5个主分片（primary shrad）和5个副分片（replica shard），所以说正常情况下是有10个分片的。同一个节点上面，副本和主分片是一定不会在一台机器上面的，就是拥有相同数据的分片，是不会在同一个节点上面的。所以当你有一个节点的时候，这个分片是不会把副本存在这仅有的一个节点上的，当你新加入了一台节点，ES会自动的给你在新机器上创建一个之前分片的副本。

参与评论您还未登录，请先登录后发表或查看评论

elasticsearch7.17.3实现对中文排序

qq_41444892的博客

03-21

2063

elasticsearch版本：7.17.3目标：实现对类型为text的中文字段分词。

【elasticsearch7.11】elasticsearch7.11 字段排序全解析

qq_31286957的博客

09-20

878

在使用过程中避免不了涉及到分词字段排序的请求接下来说一下，主要包括排序分类和示例。前提 1、要了解单字段 multi-fields2、时间或者Long 等类型不讨论 3、text 类型分词字段如果排序需要设置 “fielddata”: true 4、请自行了解下 es官网 sort 排序属性设置。

Elasticsearch高级搜索排序（中文+拼音+首字母+简繁转换+特殊符号过滤）(示例代码)

cauchy8389的专栏

06-17

3072

简介这篇文章主要介绍了Elasticsearch高级搜索排序（中文+拼音+首字母+简繁转换+特殊符号过滤）(示例代码)以及相关的经验技巧，文章约21106字，浏览量320，点赞数5，值得参考！一、先摆需求： 1、中文搜索、英文搜索、中英混搜如：“南京东路”，“cafe 南京东路店” 2、全拼搜索、首字母搜索、中文+全拼、中文+首字母混搜如：“nanjingdonglu”，“njdl”，“南京donglu”，“南京dl”，“nang南东路”，“njd路”等等组合 3、简繁搜索、特殊...

ElasticSearch学习（四）—— 中文按拼音排序&拼音检索

yilia_jia的博客

07-16

3573

使用pinyin分词器下载拼音分词器https://github.com/medcl/elasticsearch-analysis-pinyin 解压进入目录elasticsearch-analysis-pinyin 修改pom.xml中es版本为自己使用的版本命令行mvn package 打包进入elasticsearch-analysis-pinyin-master\target\releases解压elasticsearch-analysis-pinyin-7.7.0.zip文件将解

后端服务集成ElasticSearch搜索功能技术方案

追求幸福，探索未知的博客

01-08

820

ElasticSearch是一款非常强大的开源的分布式搜索引擎，具备从海量数据中快速找到需要内容的功能，可以用来实现搜索、日志统计、分析、系统监控等功能。

大数据实时检索场景化解决方案-ElasticSearch

weixin_46414576的博客

03-17

1568

ElasticSearch简介 • ElasticSearch是一个高性能，基于Lucene的全文检索服务，是一个分布式的Restful风格的搜索和数据分析引擎，也可以作为NoSQL数据库使用。 • 对Lucene进行了扩展 • 原型环境和生产环境可无缝切换 • 能够水平扩展 • 支持结构化和非结构化数据 • ElasticSearch对Lucene 进行了扩展，提供了比Lucene更为丰富的查询...

ElasticSearch使用讲解

Java就是我的道！

01-09

1743

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

ElasticSearch中如何进行排序

wangzhen3798的博客

10-31

4万+

ElasticSearch中如何进行排序背景最近去兄弟部门的新自定义查询项目组搬砖，项目使用ElasticSearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序，以为是一个比较简单的需求，其实实现起来还是比较复杂的。这里进行一个总结，加深一下记忆。前置知识 ElasticSearch是什么？ ElasticSearch 简称ES，是一个全文搜索引擎，可以实现类似百度...

Elasticsearch的查询语言：排序和分页

AI天才研究院

01-25

1050

1.背景介绍 1. 背景介绍 Elasticsearch是一个分布式、实时的搜索和分析引擎，它基于Lucene库构建，具有高性能、高可扩展性和高可用性。Elasticsearch的查询语言(Query DSL)是一种强大的查询语言，可以用于实现复杂的查询和操作。在实际应用中，我们经常需要对查询结果进行排序和分页处理。本文将深入探讨Elasticsearch的查询语言中的排序和分页功能，并提供实...

Elasticsearch中如何进行排序(中文+父子文档+嵌套文档)

weixin_30535913的博客

10-31

795

Elasticsearch中如何进行排序背景最近去兄弟部门的新自定义查询项目组搬砖，项目使用Elasticsearch进行数据的检索和查询。每一个查询页面都需要根据选择的字段进行排序，以为是一个比较简单的需求，其实实现起来还是比较复杂的。这里进行一个总结，加深一下记忆。前置知识 Elasticsearch是什么？ Elasticsearch 简称ES，是一个全文搜索引擎，可以实现类似百度搜...

ElasticSearch 2.4.X实现中文拼音排序

mryang125的博客

06-08

1万+

前言最近接到一个需求，要求实现搜索框的搜索结果可以按照中文排序，本人灵机一动，那不很简单吗，直接按照es自带的sort功能处理下不就行了吗？两分钟的代码量，半天的喝茶时间，白赚半天的故事点，嘿嘿。然而问题才刚刚开始，多次测试结果表明，当文本以中文开头，排序结果总是不正确。翻阅资料才知道这么一回事：ES是用的unicode的字节码做排序的。即先对字符（包括汉字）转换成byte[]数组，然后对...

Elasticsearch（三）

xcxcxcxx1的博客

05-15

515

声明接口实现// 1.准备Request SearchRequest request = new SearchRequest("hotel");try {map . put("品牌" , brandList);map . put("城市" , cityList);map . put("星级" , starList);return map;List

elasticsearch(9)实现字符串排序

祈雨v的博客

10-09

5615

对于text类型字段，ES默认分词且不会建立正排索引。即使设置"fielddata": true建立正排索引后，对该字段的排序依然有问题：ES不会以整个字段文本排序，而是选择分词后的一个字段进行排序。对于ES5.x可以设置需要排序的字段为keyword类型，该类型默认不分词且"doc_values":true即默认建立正排索引。对于需要分词的字段，想实现字符串排序可以将该字段建立两次索引，一个...

es自定义拼音分词器处理中文拼音排序问题

jifgnie的博客

05-29

650

todo。

es 默认排序字段_elasticsearch 6.1.2 （一）中文分词设置、字符串字段排序设置

weixin_35145307的博客

12-24

745

if (!esService.isExistsType(cfg.get("es.index.name"), type)) {//初始化索引表XContentBuilder mapping = jsonBuilder().startObject().startObject(type).startObject("_all")//设置IK分词.field("analyzer", "ik_max_word...

ElasticSearch之排序使用-ES常用排序方法

最新发布

03-27

<think>嗯，我现在需要详细介绍一下Elasticsearch中的倒排索引。首先，得先理解倒排索引是什么，它和传统索引有什么不同。倒排索引是Elasticsearch的核心，用来快速全文搜索的。那倒排索引的结构是什么样的呢？应该包含哪些部分？比如，可能涉及到词项、文档ID列表、位置信息这些。然后，我需要解释倒排索引的工作原理，比如如何从文档中提取词项，存储这些信息，以及查询时如何利用倒排索引快速找到匹配的文档。接下来，可能需要提到倒排索引的优势，比如高效的全文搜索、支持复杂的查询操作，还有它的可扩展性。另外，倒排索引在Elasticsearch中的具体实现可能会有一些优化措施，比如分片（Shard）和分段（Segment）的概念，近实时搜索的实现方式，以及如何通过合并分段来优化性能。不过，可能还需要注意倒排索引的构建过程，包括分析阶段（Analysis），比如分词（Tokenization）、过滤（如停用词过滤、小写转换）等处理步骤。这些分析器对最终生成的词项有影响，进而影响搜索效果。例如，使用不同的分析器可能会导致不同的分词结果，从而影响查询的匹配情况。另外，倒排索引的一些高级特性，比如词项字典（Term Dictionary）和倒排列表（Postings List）的结构，可能还涉及到如何压缩存储这些数据以减少内存和磁盘的使用。比如，Elasticsearch可能使用FST（Finite State Transducer）来高效存储和查询词项字典。还有，倒排索引如何支持动态更新，比如新增、删除或更新文档时，Elasticsearch如何处理这些变更，可能涉及到分段机制，新增的文档会先写入内存中的索引结构，再定期刷新到磁盘形成新的分段，同时后台进行段合并来优化查询性能。可能还需要比较一下正排索引和倒排索引的区别，正排索引是通过文档ID找内容，而倒排索引是通过内容中的词项找文档ID，这样在搜索时效率更高。不过，在整理这些内容的时候，要确保逻辑清晰，结构合理。可能需要分几个部分来介绍：倒排索引的定义、结构、工作原理、构建过程、优势，以及在Elasticsearch中的具体实现和优化措施。同时，结合具体的例子或者比喻，帮助用户更好地理解。比如，倒排索引就像一本书的目录，通过关键词快速找到对应的页面，而正排索引则是按页码列出内容，适合按顺序查找。还要注意用户的问题中的具体要求，比如使用中文回答，行内数学表达式用$...$格式，独立公式用$$...$$，但在这个问题中可能数学公式不多，不过如果有涉及相关算法或结构，可能需要适当应用。比如，倒排索引中的TF-IDF评分公式可以写成$$ \text{TF-IDF}(t,d) = \text{TF}(t,d) \times \text{IDF}(t) $$，不过是否需要取决于详细程度。最后，确保内容准确可靠，可能需要查阅Elasticsearch官方文档或权威资料，确认倒排索引的实现细节，比如是否使用FST、分段合并的策略等。避免出现错误的信息，比如错误的分片策略或者分析器的处理步骤。总之，整个思考过程需要从基础概念出发，逐步深入到内部结构和实现细节，同时结合实际应用场景和优化策略，全面而详细地介绍Elasticsearch的倒排索引。</think>Elasticsearch 的倒排索引是其实现高效全文搜索的核心技术。以下从定义、结构、工作原理、构建过程及优势等方面逐步解析： --- ### 一、倒排索引的定义 **倒排索引（Inverted Index）** 是一种通过内容关键词反向映射到文档的数据结构。与传统**正排索引**（文档ID → 内容）相反，倒排索引的键是**词项（Term）**，值是对应的文档列表。例如： - 正排索引：文档1 → "Elasticsearch is fast" - 倒排索引：Elasticsearch → [文档1], fast → [文档1], is → [文档1] --- ### 二、倒排索引的结构倒排索引由两部分组成： 1. **词项字典（Term Dictionary）** 存储所有唯一词项，通常使用**FST（有限状态转换器）**压缩存储，支持高效查询。 2. **倒排列表（Postings List）** 每个词项对应一个倒排列表，包含： - **文档ID（Doc ID）**：包含该词项的文档。 - **词频（Term Frequency, TF）**：词项在文档中的出现次数。 - **位置（Position）**：词项在文档中的具体位置（用于短语查询）。 - **偏移量（Offset）**：词项在文本中的起止位置（用于高亮显示）。 --- ### 三、倒排索引的工作原理 1. **文档分析（Analysis）** 原始文本通过**分析器（Analyzer）**处理，流程如下： - **分词（Tokenization）**：将文本拆分为词项（如按空格分割）。 - **过滤（Filtering）**：转为小写、移除停用词（如“is”“the”）、提取词干（如“running” → “run”）。示例：文本“The quick Brown Fox” → 词项 ["quick", "brown", "fox"] 2. **构建索引** 将处理后的词项与文档关联，生成倒排列表。例如： ```plaintext Term | Postings List -------------------------- quick → Doc1 (TF=1, Position=1) brown → Doc1 (TF=1, Position=2) fox → Doc1 (TF=1, Position=3) ``` 3. **查询匹配** 用户输入搜索词（如“brown fox”）时： - 通过分析器处理得到词项 ["brown", "fox"]。 - 从词项字典中找到对应倒排列表。 - 合并列表，筛选包含所有词项且位置连续的文档（短语查询）。 --- ### 四、Elasticsearch 的优化实现 1. **分片与分段（Shard & Segment）** - 索引被划分为多个**分片**，支持水平扩展。 - 每个分片由多个不可变的**分段**组成，新增文档写入新分段，后台自动合并旧分段以提升性能。 2. **近实时搜索（NRT）** 文档写入后，先写入内存缓冲区，定期刷新（Refresh）到磁盘生成新分段，确保1秒内可被搜索。 3. **压缩技术** - **FST压缩词项字典**：减少内存占用。 - **增量编码压缩文档ID**：如将[100, 101, 102]存储为100, +1, +1。 --- ### 五、倒排索引的优势 1. **高效全文搜索** 直接通过词项定位文档，时间复杂度接近$O(1)$。 2. **支持复杂查询** 可处理布尔逻辑（AND/OR/NOT）、短语匹配、模糊搜索等。 3. **评分与排序** 基于TF-IDF、BM25等算法计算相关性得分： $$ \text{BM25}(t,d) = \sum \frac{\text{IDF}(t) \cdot \text{TF}(t,d) \cdot (k_1 + 1)}{\text{TF}(t,d) + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})} $$ 4. **扩展性** 分布式架构支持海量数据横向扩展。 --- ### 六、示例场景假设有两个文档： - Doc1: "Elasticsearch is fast" - Doc2: "Search engine by Elastic" 倒排索引构建后： ```plaintext Term | Postings List ----------------------------------------- elasticsearch → Doc1 (TF=1, Position=0) fast → Doc1 (TF=1, Position=2) search → Doc2 (TF=1, Position=0) engine → Doc2 (TF=1, Position=1) elastic → Doc2 (TF=1, Position=3) ``` 搜索“Elastic”时，可快速定位到Doc1和Doc2，并根据相关性排序返回结果。 --- ### 总结倒排索引通过词项到文档的映射，解决了全文搜索的效率和灵活性问题。Elasticsearch 在此基础上结合分布式架构、压缩技术和近实时更新，使其成为高性能搜索引擎的首选方案。