ik设置扩展词和停用词

最新推荐文章于 2024-05-07 11:00:51 发布
最新推荐文章于 2024-05-07 11:00:51 发布
阅读量438 收藏
点赞数
分类专栏： es 文章标签： es
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/TreeCode/article/details/113853558
版权
本文介绍了如何修改IKAnalyzer的配置文件`IKAnalyzer.cfg.xml`，在config目录下创建并编辑`ext.dic`扩展词典，用于增强分词效果。通过清空原有内容并添加自己的专业术语，可以确保分词器更好地识别和处理信息技术领域的专用词汇。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

扩展词：

  1. 修改IKAnalyzer.cfg.xml配置文件，这是ik的config目录下的文件
    在这里插入图片描述
  2. 在config目录下创建ext.dic文件，最好是复制ik自带的dic文件，然后修改名称，最后将里面的内容清空，然后就能在里面添加自己的扩展词了，注意一词一行。
48、ElasticSearch IK分词器，扩展词、停用词配置
weixin_40968009的博客
11-17 327
ElasticSearch IK分词器的两种模式，配置扩展词、停用词。
ElasticSearch IK分词器的安装、词典扩展与停用
最新发布
qq_35716689的博客
05-24 1万+
ES默认的分词器对中文词语分词效果很不好，每个中文都分成了一个词，所以我们需要安装一个支持中文分词的分词器，使用较多的就是IK分词器。此外我们可以通过修改配置来实现对分词器词典的扩展和停用。
IKAnalyzer配置文件、扩展词典和停用词词典.zip
12-01
IKAnalyzer配置文件、扩展词典和停用词词典.zip
es-ik分词器的拓展和停用字典
m0_60769905的博客
12-26 2084
IK Analyzer 扩展配置
IK-Analyzer 分词器所需要的配置文件、扩展词典及停用词词典 完整包下载
12-25
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 采用了特有的“正向迭代最细粒度切分算法”，具有60万字/秒的高速处理能力。 采用了多子处理器分析模式，支持：英文字母（IP地址、Email、URL）、数字（日期，常用中文数量词，罗马数字，科学计数法），中文词汇（姓名、地名处理）等分词处理。 Linux下Solr4.10.4搜索引擎的安装与部署图文详解 : http://blog.csdn.net/Hello_World_QWP/article/details/78864823
IK扩展词和停用词
qq_44621891的博客
12-10 703
ik扩展词停用词同样设置即可远程设置扩展词和停用词加载远程扩展词原理 扩展词 编辑ik分词器下面的config文件夹下的`IKAnalyzer.cfg.xml` <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd"> <properties> <comment>IK Analyzer
solr中使用IKAnalyzer配置同义词，停止词，扩展词
weixin_34261739的博客
07-21 245
环境如下：solr4.7IKAnalyzer2012FF_u1 配置同义词 第一步 将IKAnalyzer2012FF_u1放到solr-4.7.2/example/solr-webapp/webapp/WEB-INF/lib 目录下第二步 修改schema.xlm文件如下： <fieldType name="text_ik"...
比较全的IKAnalyzer分词器中文停用词 stopwords.dic
01-03
内容直接拷贝进stopword.dic即可使用（2614行常用停用词包含中英文，符号等）
elasticsearch ik 配置停词，词库
u013958151的博客
08-05 517
安装好es之后，先安装插件，安装ik的插件需要下载和es对应的版本。 解压到新建的ik文件夹，再把ik文件夹放到es的plugins文件夹下。 将自定义的停词和词库添加到ik文件夹下的config文件夹的对应文件中 下面是配置文件的内容IKAnalyzer.cfg.xml <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.d.
ES IK分词器 - 停用词
Zsd
11-17 3900
配置 如果你使用ik分词器,其实都为你解决了.但是它默认设置的停用词都是英文的,比如AND,OR等等 配置中文停用词 your/path/elasticsearch/config/analysis-ik 打开它发现会有stopword.dic和extra_stopword.dic, stopword.dic里面的都为配置的英文停用词,而extra_stopword.dic里面的都为配置的中文停用词 配置IKAnalyzer.cfg.xml中 给下面这行加上 extra_stopword.dic &lt
ik-analyzer 中英文停用词
11-22
ik-analyzer需要的中英文停用词，chinese_stopword.txt，english_stopword.txt
IKanalyzer约2000个常用停止词库
07-25
近期整理的IKAnalyzer中文停用词列表，大约有2000多个词，希望可以帮到大家，下载希望给个好评，谢谢
【ElasticSearch】IK分词器中停用词问题
qq_20623849的博客
05-07 761
在ES中进行部分关键词搜索时，搜索无结果，如搜索 【IT】
【Elasticsearch】18 ES文档的基本操作修改ik 分词配置与自定义分词
promiseful的博客
09-08 511
一、安装Nginx 配置分词 # cd /mydata/nginx/html/ # mkdir es # cd es # vi analyze.txt # 添加单词 中国梦 乔先生 张三丰 ESC :wq docker安装Nginx 二、配置ES # cd /mydata/elasticsearch/plugins/ik/config/ # vi IKAnalyzer.cfg.xml 添加分词地址 <?xml version="1.0" encoding="UTF-8"
IK拓展词配置
学习是一种习惯
08-23 407
* attention please 这货是用java写的、java写的、java.为什么要强调这个，因为以下三个文件的文件格式有要求，必须是UTF-8无BOM格式。这事儿记事本搞不定，得用Notepad++在编码里选定然后保存。切记，不然改死也不起作用。 ext.dic（拓展词表） 这个文件里记录的就是用户自定义的中文拓展词。这些词以行来区分，一行一个，不是以逗号区分，网上很多人误人子弟。 ...
IK扩展词和停用词热更新
qq_24223291的博客
08-03 3941
IK作为elasticsearch的分词器，提供了多种配置扩展词和停用词的功能。这里主要记录如何进行扩展词/停用词热更新配置的其中一种方法，并未对IK的源码进行改动。 第一步：修改IK的配置文件IKAnalyzer.cfg.xml（大前提：已经在elasticsearch中安装了IK分词器插件），分别配置项目中扩展词和停用词地址（地址无固定格式，Get请求）。IK源码中有两个任务每隔1分钟来请求...
solr 6.2.0系列教程（二）IK中文分词器配置及添加扩展词、停止词、同义词
郭小李
03-18 1635
前言 1、搭建好solr工程，搭建步骤参见：solr 6.2.0系列教程（一）环境搭建、索引仓库创建 2、下载好IK分词器的jar包及相关配置文件。想IK分词器官网要翻墙，链接地址是我用的一个版本，可以兼容solr6.2.0 版本过低的分词器不支持solr6.2.0。IK分词器下载地址 步骤 1、解压下载的IK分词器，将jar包复制到工程\WebRoot\WEB-INF\lib目录下。
在Elasticsearch IK分词器中更新、停用某些专有名词
qq_41883461的博客
03-05 461
在Elasticsearch IK分词器中更新、停用某些专有名词
es 使用ik停词_elasticsearch 中文停用词设置
weixin_39927993的博客
12-21 3554
elasticsearch 中文停用词设置在使用 elasticsearch 进行搜索的时候，经常会发现一篇和搜索关键字完全不匹配的文章排在最前面。它可能就被 ik_max_word 分词后，刚好就有类似 "的" 这样的无意义词，导致造成一篇含有很多无意义词的文章得到一个较高的评分。那么一个有效的解决办法就是对这些无意义的词——停用词进行屏蔽。解决方案如果你使用 ik 中文分词器，它默认设置的停用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值