elasticsearch插件之IK分词器拓展词条 停用词条

最新推荐文章于 2025-01-07 11:27:59 发布
原创 最新推荐文章于 2025-01-07 11:27:59 发布 · 406 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #搜索引擎 #分布式

本文介绍了如何在Elasticsearch环境中配置Ik Analyzer的扩展词典和停用词典，通过编辑config目录下的IKAnalyzer.cfg.xml文件，设置ext_dict为拓展词典，ext_stopwords为停用词典。新增的词典文件需与配置文件在同一目录。对于8.0及以上版本，可直接将默认停用词复制到stopword.dic中。完成配置后，重启ES容器以使更改生效。

  • 利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典

  • 在词典中添加拓展词条或者停用词条

  • 打开ik文件夹config目录下的IKAnalyzer.cfg.xml文件

	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">ext.dic</entry>
	 <!--用户可以在这里配置自己的扩展停止词字典-->
	<entry key="ext_stopwords">stopword.dic</entry>

这两个文件需要保存在IKAnalyzer.cfg.xml的同级目录下

8.0后的版本已经有默认的停用中文额外词 故将其复制到stopword.dic中即可

 配置完成后重启es容器生效

停用

 自定义词

 

ES IK分词器 - 停用词
Zsd
11-17 3988
配置 如果你使用ik分词器,其实都为你解决了.但是它默认设置的停用词都是英文的,比如AND,OR等等 配置中文停用词 your/path/elasticsearch/config/analysis-ik 打开它发现会有stopword.dic和extra_stopword.dic, stopword.dic里面的都为配置的英文停用词,而extra_stopword.dic里面的都为配置的中文停用词 配置IKAnalyzer.cfg.xml中 给下面这行加上 extra_stopword.dic &lt
elasticsearch插件安装（一）之ik分词器安装（含MySQL更新）
JavaGPT的博客
08-14 874
官方所给的IK分词器只支持远程文本文件热更新，不支持采用MySQL热更新，没关系，这难不倒伟大的博主，给哈哈哈。今天就来和大家讲一下如何采用MySQL做热更新IK分词器的词库。
Elasticsearch 分布式搜索引擎 -- 安装IK分词器、ik分词器-拓展词库 / 停用词库
天行健 君子以自强不息，地势坤 君子以厚德载物。
03-31 1713
安装IK分词器、ik分词器-拓展词库 / 停用词库
【ElasticSearch】IK分词器中停用词问题
qq_20623849的博客
05-07 955
在ES中进行部分关键词搜索时，搜索无结果，如搜索 【IT】
Elasticsearch7.15.2 ik中文分词器 定制化分词器之扩展词库（远程）
Gblfy_Blog
11-21 1721
IK分词提供的两个分词器，并不支持一些新的词汇，有时候也不能满足实际业务需要，这时候，我们可以定义自定义词库来完成目标。 文章目录一、静态web搭建1. 安装nginx2. 创建es目录3. 创建分词文件4. 存放静态5. 验证二、配置远程分词2.1. 切换用户2.2. 编辑IKAnalyzer2.3. 编辑远程分词2.4. 重新启动es2.5. 验证分词三、热更新词库3.1. 自定义分词3.2. 分词结果3.3. 添加分词库3.4. 日志监控3.5. 分词验证 一、静态web搭建 1. 安装ngi...
ElasticSearch 6.x 配置IK 扩展字典
忧郁天空
01-26 1391
一、安装IK https://github.com/medcl/elasticsearch-analysis-ik （以下为官方提供的安装方法） Install 1.download or compile optional 1 - download pre-build package from here: https://github.com/medcl/elasticsearch-a...
使用docker安装elasticsearch和kibana，ik分词器，拼音分词器安装、使用和介绍
m0_69594200的博客
04-21 2743
Elasticsearch概念学习 、使用docker安装Elasticsearch和kibana
Elasticsearch——IK分词器
最新发布
gnwu1111的专栏
01-07 1397
分词器的作用是什么？创建倒排索引时，对文档分词用户搜索时，对输入的内容分词IK分词器有几种模式？ik_smart：智能切分，粗粒度ik_max_word：最细切分，细粒度IK分词器如何拓展词条？如何停用词条？利用config目录的IkAnalyzer.cfg.xml文件添加拓展词典和停用词典在词典中添加拓展词条或者停用词条。
ElasticSearch Analyzer默认分词器、ik分词器、远程词典、停用词（五）
CodingAnHour
05-20 2188
一、名词解释 Analysis：文本分析是把全文本转换一系列单词（trem/token）的过程，也叫分词 Analysis是通过Analyzer来实现的 可以使用es内置分析器，或按需定制化分析器 除了在数据写入时转换词条，匹配query语句时也需要用相同的分析器对查询语句进行分析 分词器时专门处理分词的组件，Analyzer又三部分组成 Character Filters（针对原始文本处理，例如去除HTML） Tokenizer：按照规则切分单词 Token Filter：将切分的单词进
elasticsearch学习（六）：IK分词器
热门推荐
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
IK-Analyzer 分词器所需要的配置文件、扩展词典及停用词词典 完整包下载
12-25
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 采用了特有的“正向迭代最细粒度切分算法”，具有60万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 Linux下Solr4.10.4搜索引擎的安装与部署图文详解 : http://blog.youkuaiyun.com/Hello_World_QWP/article/details/78864823
es 使用ik停词_ElasticSearch系列五：掌握ES使用IK中文分词器
weixin_39605296的博客
12-21 375
一、内置分词器的介绍例：Set the shape to semi-transparent by calling set_trans(5)standard analyzer(默认)： set, the, shape, to, semi, transparent, by, calling, set_trans, 5simple analyzer： set, the, sh...
安装ik分词器插件，及配置ik扩展字典
kamil的博客
07-28 450
linux安装ik分词器 下载 下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.1/elasticsearch-analysis-ik-7.6.1.zip 2.解压 在elasticsearch中的plugins目录下建一个ik目录 将压缩包放在ik目录下 unzip 压缩包名 3.重启es 成功启动后，可以使用kibana验证下分词器的效果 Ik分词器提供两个分词算法 ik_
ik分词器配置远程扩展词典
zhaonailao的博客
07-13 2410
使用es，一般都要使用IK分词器，通常需要配置IK分词器的扩展词典。下面介绍如何配置IK分词器的远程扩展词典。 1. 需要定义一个提供扩展词典的接口 接口返回值 为 string，每个词占一行。例如： 2. 修改IKAnalyzer.cfg.xml中的remote_ext_dict配置路径 IKAnalyzer.cfg.xml 为IK分词器的配置文件，如果没有则需要创建。文件位置：IK分词器中config目录。 文件内容为： <?xml version=...
Elasticsearch 配置 IK 扩展词典及隔离词典
shpunishment的博客
01-27 2963
1
Elasticsearch中自定义扩展IK分词器字典
m0_37561303的博客
05-03 597
在Elasticsearch中我们常使用IK分词器进行语句分词，但是有时候一些生僻的词汇，IK分词器也无法分割，此时就需要我们进行自定义分词。 在Elasticsearch中使用IK分词器还是比较简单的，上篇文章中我们说过docker中安装Elasticsearch，并将文件夹映射到本地文件夹中，所以此时我们仅需将IK分词器下载解压到本地Elasticsearch映射的文件夹下 如图所示，直接将IK分词器解压到Elasticsearch的plugins 文件夹下就好。 自定义扩展IK分词器字典 需要修改
elasticsearch插件 ik分词器使用以及扩展ik词典
bugreturner的博客
12-14 657
下载 从github-ik下载插件代码包，解压到elasticsearch的plugin目录下，然后重启服务。
安装IK分词器 + 扩展词典配置 + 停用词典配置
ros275229的博客
03-22 2308
安装IK分词器 + 扩展词典配置 + 停用词典配置
Elasticsearch 四、Elasticsearch6.4.3 安装IK 分词器及扩展字典
ws - 兮的博客空间
12-23 1222
本文使用Postman工具模拟http请求， Postman 使用参考：https://blog.youkuaiyun.com/qq_41463655/article/details/100180079 一、安装Ik 分词器 1、下载插件 因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉子。因此引入中文分词器-es-ik插件 下载链接：https:...
Elasticsearch 7.4.2版本IK中文分词器插件下载
这种插件通常包含了用于Elasticsearch的插件代码和一些配置文件，用户在安装该插件后，可以无缝地在Elasticsearch中集成IK分词器。 使用IK分词器时，用户需要将其下载为相应的压缩包文件，然后通过Elasticsearch的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值