Elasticsearch--IK分词器自定义词库

最新推荐文章于 2023-03-28 01:16:14 发布
原创 最新推荐文章于 2023-03-28 01:16:14 发布 · 785 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch

本文详细介绍了如何使用IK分词器自定义词库，包括创建和配置自定义词库的具体步骤，适用于对分词效果有特殊需求的场景。

IK分词器自定义词库

有时候分词不满足我们需求时，我们可以自定义分词
1.首先在IK分词器的插件中找到\ik\config\custom路径
2.然后在目录下面新建.dic文件；

在这里插入图片描述

3.在yangfan.dic中配置需要自定义的分词；

注意分词需要换行书写
在这里插入图片描述

4.找到IK分词器的config下的IKAnalyzer.cfg.xml文件

在这里插入图片描述

5.在IKAnalyzer.cfg.xml中配置自定义的词库文件yangfan.dic

在这里插入图片描述

elasticsearch给IK分词器添加自定义词汇
qq_28834355的博客
08-21 1866
案例 对 汽车改装鲨鱼鳍 这句进行分词 GET /_analyze { "analyzer": "ik_smart", "text": ["汽车改装鲨鱼鳍"] } 结果如下： { "tokens" : [ { "token" : "汽车", "start_offset" : 0, "end_offset" : 2, "type" : "CN_WORD", "position" : 0 }, { "t
【elasticsearch】IK分词器添加自定义词库，然后更新现有的索引
提笔忘字的帝国
07-05 1537
进入elasticsearch中的plugins位置，找到ik分词器插件，进入ik插件的config文件夹，当中有一个IKAnalyzer.cfg.xml配置文件。编辑好保存退出后就会在当前位置多出一个my.dic文件（修改好保存后，在当前位置直接使用命令。
ElasticSearch ik分词器自定义词库
张俊杰 的博客
11-06 1775
每年都会涌现一些特殊的流行词，网红，蓝瘦香菇，喊麦，鬼畜，一般不会在ik的原生词典里,所以这样的话自己补充自己的最新的词语，到ik的词库里面去. 你可以直接在IKAnalyzer.cfg.xml文件夹下面ext_dict那里配置自己的词库, 补充自己的词语，然后需要重启es，才能生效 自己建立停用词库：比如了，的，啥，么，我们可能并不想去建立索引，让人家搜索 你可以直接在IKAnalyzer.cfg.xml文件夹下面ext_stopwords那里配置自己的停用词库 具体操作参考,很简单: https://w
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
日常笔记 | 干货分享 | 毕设源码 | 毕设指导 | 答辩指导
03-28 4040
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
Ik分词器（自定义分词-mysql）
Lin_XXiang的博客
11-22 3179
自定义ik分词，并且与mysql关联使用
7.17.1系列Elasticsearch的elasticsearch-analysis-ik分词器
08-07
elasticsearch-analysis-ik 是一个常用的中文分词器，在 Elasticsearch 中广泛应用于中文文本的分析和搜索。下面是 elasticsearch-analysis-ik 分词器的几个主要特点： 中文分词：elasticsearch-analysis-ik 是基于...
精选资源
elasticsearch-analysis-ik 7.10.0 分词器
01-10
**Elasticsearch Analysis IK 7.10.0 分词器详解** Elasticsearch 分词器是搜索引擎核心组件之一，负责将输入的文本拆分成可搜索的独立单元——词语。在中文环境中，这个过程尤为重要，因为中文句子由多个汉字组成...
精选资源
elasticsearch-analysis-ik-7.4.0 ik分词器7.4.0
04-05
type: ik_max_word # 使用IK分词器的全模式 dictionary: my_dict # 自定义词典路径 ``` **依赖库** 在提供的文件列表中，我们看到有如下几个依赖库： - `httpclient-4.5.2.jar`：Apache HttpClient，用于 HTTP ...
elasticsearch-analysis-ik-7.17.9
最新发布
09-19
elasticsearch-analysis-ik插件还支持自定义词库，用户可以根据自己的需求，添加或者修改词库，从而达到更精确的分词效果。例如，用户可以在词库中添加一些专业术语或者网络新词，这样在进行分词处理时，这些词就能...
elasticsearch-analysis-ik-7.7.1 分词器下载
06-17
**Elasticsearch Analysis IK分词器** Elasticsearch（简称ES）是一款强大的开源搜索引擎，它提供了全文检索、分析和管理工具。在处理中文文本时，由于中文的特殊性（如词语边界不明显），需要借助特定的分词器来对...
elasticsearch之自定义IK分词器词库（二）
soldiers_A的博客
04-22 7414
一、引言 上篇博客主要介绍了，IK分词器的安装和使用，这篇章我们来谈谈如何构建定制的词库，来满足复杂的业务需求。 二、本地自定义词库安装 首先我们在elasticsearch-6.3.1/plugins/ik/config 目录下创建一个自己的文件xxx.dic 在xxx.dic写入需要分词的词或短语，如下案例所示 vim elasticsearch-6.3.1/plugins/ik/config/IKAnalyzer.cfg.xml，配置本地词库 重启ES生效 测试效果 三
16-ElasticSearch-IK分词器-自定义词汇
minihuabei的博客
05-12 277
4.4 自定义词库 如果要让分词器支持一些专有词语，可以自定义词库。 你会发现诺云是公司名称，但是被分开了，所以我们需要自定义词。因为分词器只能把我们生活中比较通用的词加进去，而一些品牌的名称不会加进入，需要我们自己添加。比如诺云这个品牌名称，我们也想在搜索时候，单独加进去，这时候就需要自定义词库。 iK分词器自带一个main.dic的文件，此文件为词库文件 在上边的目录中新建一个my.dic文件（注意文件格式为utf-8（不要选择utf-8 BOM）） 可以在其中自定义词汇： 比如定义： 配置文件中
es基本语句详解 查询语句详解
热门推荐
心比天高，仗剑走天涯，保持热爱，奔赴向梦想！
07-28 1万+
es基本语句详解 查询语句详解声明Rest风格索引的基本操作1. 创建一个索引2. 查看索引 我们使用elasticsearch-head3. 删除索引其它命令==文档的基本操作（重点）==添加数据修改文档删除文档查找（重重重点）通过id查找通过某个字段查找指定条件查找结果过滤排序分页查询多条件或与非查找过滤器：范围查找精确查找高亮查询 声明 本文涉及的es， elasticsearch-head， kibana， ik分词器的安装配置可以参考我的其它博客 本文主要参考狂神说java视频课程编写。主要是为了
ElasticSearch自定义pinyin和ik分词库
赵广陆
01-18 2105
目录1 语料库映射OpenAPI1.1 定义索引（映射）接口1.2 定义索引（映射）实现1.3 新增控制器1.4 开始新增映射2 语料库文档OpenAPI2.1 定义批量新增文档接口2.2 定义批量新增文档实现2.3 定义批量新增文档控制器2.4 开始批量新增调用 1 语料库映射OpenAPI 环境准备: 先下载ik分词和pinyin分词，并放到esplugins相应目录中 请求kibana:GET /_cat/plugins?v&s=component&h=name,componen
IK分词器-自定义分词算法与自定义分词配置
梦想不会灭
05-06 5840
一、分词的概念 分词：就是把我们要查询的数据拆分成一个个关键字，我们在搜索时，ElasticSearch会把数据进行分词，然后做匹配。默认的中文分词器会把每一个中文拆分，比如“迪丽热巴”，会拆分成“迪”，“丽”，“热”，“巴”，显然，这并不符合我们的要求，所以ik分词器（中文分词器）能解决这个问题。 二、IK分词器的分词算法 ik分词器存在两种分词算法： ik_smart：称为智能分词，网上还有别的称呼：最少切分，最粗粒度划分 ik_max_word：称为最细粒度划分 三、分词算法测试 1、ik_sma
elasticsearch ik分词器配置使用，自定义分词
zhaoqingquanajax的博客
08-30 1753
安装 1，下载ik分词器（下载对应版本） ：https://github.com/medcl/elasticsearch-analysis-ik/releases 2，解压到 elasticsearch的plugins文件夹下 3，启动会自动加载 4，到elasticsearch的home下，运行命令 elasticsearch-plugin list 查看加载的插件 5，ik分词器提供了两种分词算法：ik_smark最少切分，ik_max_word最细精度切分 ik_smark最少切分： GET _
ElasticSearch-IK分词器安装及自定义词库
q983752531的博客
02-15 2339
1. 架构选型 docker + nginx + elasticsearch + ik分词器 2. ik分词器安装 注意点：ik分词器要与elasticsearch同一个版本（这里选的7.4.2） 下载地址： https://github.com/medcl/elasticsearch-analysis-ik/releases 安装： 将下载的文件解压并保存到elasticsearch（自行安装）中的plugins目录，并重启elasticsearch。 elasticsearch安装
Elasticsearch——IK分词器自定义词库
06-08 5989
一、业务场景 Elasticsearch是一个基于Lucene的搜索服务器，其引入IK分词器后，可以对中文进行分词。IK分词器分词的原理是在源文件中收集了很多词汇，仅在其中一个主要词汇文件main.dic文件中就有27W的词汇量。但是有的时候仅用分词器本身提供的通用词汇无法满足自己的项目特定的业务需求，比如说我要以“最长的电影”这一歌名作为搜索条件，所得到的结果如下图所示。 ...
Elasticsearch安装IK分词器、配置自定义分词词库
Java+GO+JS全栈工程师-鹤冲天的博客：编程辅导~商务合作~技术交流
02-09 4202
借助 Elasticseach 的文本分析功能可以轻松将搜索条件进行分词处理，再结合倒排索引实现快速检索。Elasticseach 提供了三种分词方法：单字分词，二分法分词，词库分词。
Elasticsearch-analysis-ik分词器7.1.0版本下载指南
"elasticsearch-analysis-ik-7.1.0.zip"是Elasticsearch-analysis-ik分词器的一个特定版本（7.1.0）的压缩包文件。这个版本是专门为Elasticsearch 7.1.0版本设计的。IK分词器的目的是为了解决中文分词问题，它支持两...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值