Elasticsearch7.x——中文分词器及扩展

最新推荐文章于 2025-04-19 18:04:19 发布
原创 最新推荐文章于 2025-04-19 18:04:19 发布 · 589 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#中文分词 #自然语言处理

目录

IK中文分词器

IK是基于字典的一款轻量级的中文分词工具包，可以通过elasticsearch的插件机制集成

1、下载

下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases

在这里插入图片描述

2、集成

在elasticsearch的安装目录下的plugin下，新建ik目录：

cd elasticsearch-7.16.0/plugings
mkdir ik

解压ik压缩包，将所有文件都放入ik目录中：
在这里插入图片描述

重启elasticsearch：
在这里插入图片描述

3、测试

IK提供了ik_smart和ik_max_word两个分析器；

ik_max_word分析器会最大程度的对文本进行分词，分词的粒度还是比较细致的；

POST _analyze
{
  "analyzer": "ik_max_word",
  "text":"这次出差我们住的是闫团如家快捷酒店"
}

返回：

{
  "tokens" : [
    {
      "token" : "这次",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "出差",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "我们",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "住",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "的",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "是",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 5
    },
    {
      "token" : "闫",
      "start_offset" : 9,
      "end_offset" : 10,
      "type" : "CN_CHAR",
      "position" : 6
    },
    {
      "token" : "团",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 7
    },
    {
      "token" : "如家",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 8
    },
    {
      "token" : "快捷酒店",
      "start_offset" : 13,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 9
    },
    {
      "token" : "快捷",
      "start_offset" : 13,
      "end_offset" : 15,
      "type" : "CN_WORD",
      "position" : 10
    },
    {
      "token" : "酒店",
      "start_offset" : 15,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 11
    }
  ]
}

ik_smart相对来说粒度会比较粗:

POST _analyze
{
  "analyzer": "ik_smart",
  "text":"这次出差我们住的是闫团如家快捷酒店"
}

返回：

{
  "tokens" : [
    {
      "token" : "这次",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "出差",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "我们",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "住",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "的",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "是",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 5
    },
    {
      "token" : "闫",
      "start_offset" : 9,
      "end_offset" : 10,
      "type" : "CN_CHAR",
      "position" : 6
    },
    {
      "token" : "团",
      "start_offset" : 10,
      "end_offset" : 11,
      "type" : "CN_CHAR",
      "position" : 7
    },
    {
      "token" : "如家",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 8
    },
    {
      "token" : "快捷酒店",
      "start_offset" : 13,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 9
    }
  ]
}

4、扩展ik字典

4.1、本地自定义扩展词库

由于 闫团 是一个比较小的地方，ik的字典中并不包含导致分成两个单个的字符；我们可以将它添加到ik的字典中；

在ik的安装目录下config中新增my.dic文件，并将 闫团 放到文件中：
在这里插入图片描述

完成之后修改IKAnalyzer.cfg.xml文件，添加新增的字典文件:

<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">my.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <!-- <entry key="remote_ext_dict">words_location</entry> -->
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

重启elasticsearch并重新执行查看已经将地名作为一个分词了:

POST _analyze
{
  "analyzer": "ik_max_word",
  "text":"这次出差我们住的是闫团如家快捷酒店"
}

返回：

{
  "tokens" : [
    {
      "token" : "这次",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    },
    {
      "token" : "出差",
      "start_offset" : 2,
      "end_offset" : 4,
      "type" : "CN_WORD",
      "position" : 1
    },
    {
      "token" : "我们",
      "start_offset" : 4,
      "end_offset" : 6,
      "type" : "CN_WORD",
      "position" : 2
    },
    {
      "token" : "住",
      "start_offset" : 6,
      "end_offset" : 7,
      "type" : "CN_CHAR",
      "position" : 3
    },
    {
      "token" : "的",
      "start_offset" : 7,
      "end_offset" : 8,
      "type" : "CN_CHAR",
      "position" : 4
    },
    {
      "token" : "是",
      "start_offset" : 8,
      "end_offset" : 9,
      "type" : "CN_CHAR",
      "position" : 5
    },
    {
      "token" : "闫团",
      "start_offset" : 9,
      "end_offset" : 11,
      "type" : "CN_WORD",
      "position" : 6
    },
    {
      "token" : "如家",
      "start_offset" : 11,
      "end_offset" : 13,
      "type" : "CN_WORD",
      "position" : 7
    },
    {
      "token" : "快捷酒店",
      "start_offset" : 13,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 8
    },
    {
      "token" : "快捷",
      "start_offset" : 13,
      "end_offset" : 15,
      "type" : "CN_WORD",
      "position" : 9
    },
    {
      "token" : "酒店",
      "start_offset" : 15,
      "end_offset" : 17,
      "type" : "CN_WORD",
      "position" : 10
    }
  ]
}

4.2、远程词库

也可以配置远程词库，远程词库支持热更新（不用重启 es 就可以生效）。

热更新只需要提供一个接口，接口返回扩展词即可。

比如可以采用SpringBoot项目，引入Web依赖。在resources/static目录下新建my.dic，写入扩展词：
在这里插入图片描述

接下来，在 es/plugins/ik/config/IKAnalyzer.cfg.xml 文件中配置远程扩展词接口：

<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <!--用户可以在这里配置自己的扩展字典 -->
    <entry key="ext_dict">my.dic</entry>
     <!--用户可以在这里配置自己的扩展停止词字典-->
    <entry key="ext_stopwords"></entry>
    <!--用户可以在这里配置远程扩展字典 -->
    <entry key="remote_ext_dict">http://localhost:8080/my.dic</entry>
    <!--用户可以在这里配置远程扩展停止词字典-->
    <!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

配置完成后，重启 es ，即可生效。

热更新，主要是响应头的 Last-Modified 或者 ETag 字段发生变化，ik 就会自动重新加载远程扩展。

【Elasticsearch】Elasticsearch analyzer 中文 分词器
九师兄
04-25 1117
1.概述 分词器首先看文章：【Elasticsearch】Elasticsearch analyzer 分词器 【Es】ElasticSearch 自定义分词器 2.ik-analyzer https://github.com/wks/ik-analyzer IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 采用了特有的“正向迭代最细粒度切分算法“，支持细粒度和最大词长两种切分模式；具有83万字/秒（1600KB/S）的高速处理能力。 采用了多子处理器分析模式，支持：英文字母
Elasticsearch安装中文分词插件ik
热门推荐
刘振锋的博客
09-19 7万+
Elasticsearch安装中文分词插件ik
ElasticSearch7.3学习(十五)----中文分词器(IK Analyzer)及自定义词库
「 虚幻私塾」
03-29 4281
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1、 中文分词器 1.1 默认分词器 先来看看ElasticSearch中默认的standard 分词器，对英文比较友好，但是对于中文来说就是按照字符拆分，不是那么友好。 GET /_analyze { "analyzer": "standard", "text": "
Elasticsearch-分词器详解
qq_37200262的博客
12-18 1129
1、分词器介绍对文本进行分析处理的一种手段，基本处理逻辑为按照预先制定的分词规则，把原始文档分割成若干更小粒度的词项，粒度大小取决于分词器规则。常用的中文分词器有ik按照切词的粒度粗细又分为:ik_max_word和ik_smart；英文分词器standard会将文本做最细粒度的拆分，会穷尽各种可能的组合，适合 Term Query；ik_smart:会做最粗粒度的拆分，适合 Phrase 查询"text": ["布布努力学习编程"]"token" : "布",},
Elasticsearch之中文分词器
weixin_34232744的博客
02-24 227
  前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词             Elasticsearch的中文分词器 　　1、单字分词： 　　　　如：“我们是中国人” 　　　　效果：“我”“们”“是”“中”“国”“人” 　　2、二分法分词：按两个字进行切分。 　　　　...
Elasticsearch之中文分词器插件es-ik（博主推荐）
weixin_34341229的博客
02-24 1716
        前提 什么是倒排索引？ Elasticsearch之分词器的作用 Elasticsearch之分词器的工作流程 Elasticsearch之停用词 Elasticsearch之中文分词器 Elasticsearch之几个重要的分词器                 elasticsearch官方默认的分词插件 　　1、elasticsearc...
Elasticsearch——中文分词器及扩展
smart_an的专栏
07-28 1126
IK Analyzer 扩展配置
精选资源
elasticsearch7.17.9版本分词器插件安装包
11-13
分词器是Elasticsearch中的核心组件之一，负责将输入的文本分解为可索引的基本单元——词语。这个插件特别引入了IK（Intelligent Chinese）分词器，它是针对中文语言进行优化的智能分词工具。IK分词器能够有效处理...
精选资源
elasticsearch-analysis-ik 7.10.0 分词器
01-10
Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成，而每个汉字本身并不构成完整的语义单位。Elastic...
精选资源
elasticsearch-7.14.0+分词器+head插件一键下载
09-04
Elasticsearch 内置了多种分词器，如标准分词器（Standard Analyzer）、关键词分词器（Keyword Analyzer）和中文分词器（Smart Chinese Analyzer）等。这些分词器可以根据不同的语言和应用场景进行定制，以确保搜索...
elasticsearch中文分词插件
09-11
elasticsearch中文分词插件，解压至ES安装目录，如D:\works\elasticsearch-6.4.0\plugins\ik，注意，不用修改elasticsearch.yml，就可以直接使用了。
Elasticsearch之中文分词器插件es-ik（基于es2.4.0版本）
07-06
如果直接使用Elasticsearch的朋友在处理中文内容的搜索时，肯定会遇到很尴尬的问题——中文词语被分成了一个一个的汉字，当用Kibana作图的时候，按照term来分组，结果一个汉字被分成了一组。 这是因为使用了Elasticsearch中默认的标准分词器，这个分词器在处理中文的时候会把中文单词切分成一个一个的汉字，因此引入es之中文的分词器插件es-ik就能解决这个问题。
Elasticsearch——IK分词器
gnwu1111的专栏
01-07 1425
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度ik_max_word：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条。
【ElasticSearch】中文分词器
qq_31426247的博客
06-19 6085
ES默认的analyzer（分词器），对英文单词比较友好，对中文分词效果不好。不过ES支持安装分词插件，增加新的分词器。1、如何指定analyzer？默认的分词器不满足需要，可以在定义索引映射的时候，指定text字段的分词器只要在定义text字段的时候，增加一个analyzer配置，指定分词器即可，这里指定的分词器是smartcn，后面会介绍怎么安装smartcn插件。
ElasticSearch入门（七）ElasticSearch的中文分词器
jwang的博客
10-21 576
前言 本章讲解ElasticSearch中文分词器的相关知识 方法 1.概念 中文分词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得多。 范...
elasticsearch 中文分词器
_Tsun 的博客
04-05 474
中文分词器 使用默认分词器查询中文。 # 可以看到一个中文是一个词，对于中文很不友好,所以需要使用中文分词器 curl --location --request POST 'localhost:9200/_analyze' \ --header 'Content-Type: application/json' \ --data-raw '{ "analyzer": "standard", "text": "RNG今年总冠军" }' >>>>>>>&g
Elasticsearch：IK 中文分词器
Elastic 中国社区官方博客
10-28 8233
Elasticsearch内置的分词器对中文不友好，只会一个字一个字的分，无法形成词语，比如： POST /_analyze { "text": "我爱北京天安门", "analyzer": "standard" } 如果我们使用的是standard的分词器，那么结果就是： { "tokens" : [ { "token" : "我", "st.........
Elasticsearch 安装中文分词器
最新发布
weizhennan123的博客
04-19 1257
ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合；为什么要在elasticsearch中要使用ik这样的中文分词呢，那是因为es提供的分词是英文分词，对于中文的分词就做的非常不好了，因此我们需要一个中文分词器来用于搜索和使用。1，Elasticsearch中文分词我们采用Ik分词，ik有两种分词模式，ik_max_word,和ik_smart模式;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值