IK分词器修改最小分词长度

最新推荐文章于 2023-06-29 14:56:46 发布
最新推荐文章于 2023-06-29 14:56:46 发布
阅读量2.7k 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： solr 文章标签： IK分词器 设置最小分词长度 修改分词长度 IK分词器源码 IK源码修改
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gxl___/article/details/83501344
本文介绍如何修改IK分词器的源码，以调整其最小分词长度至特定数值，通过下载源码并进行简单修改，再重新打包替换原包即可实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目前做的项目中由于业务需求，需要把IK修改为最小分词长度为3，因此从网上下了IK的源码来修改。

IK分词器源码地址：https://download.youkuaiyun.com/download/gxl___/10750163

修改方法：

 

如上图所示，在该类中加入红框中的代码即可达到要求。如果想改为最小分词长度为2，将3改为2。

导入项目时选择导入maven项目，修改完之后重新打jar包替换原来的包即可。

 

ElasticSearch(3) -- IK分词器
erainm
09-03 196
ES支持的分词器有很多,这里我使用的是常用的IK分词器 1. 分词模式一:ik_max_word 会将文本最细力度的拆分 先在kibana测试一波输入下面的请求： POST _analyze { "analyzer": "ik_max_word", "text": "南京市长江大桥" } 结果: { "tokens" : [ { "token" : "南京市", "start_offset" : 0, "end_offset" : 3, .
Vue3+SpringBoot+Elasticsearch+ik分词实现分词搜索功能
最新发布
qq_17756429的博客
12-20 1432
在做期末大作业项目的过程中，因为我做的是视频网站所以是少不了搜索视频的功能的，但是简单的模糊查询感觉不够亮点，所以我使用了搜索和数据分析引擎去实现复杂的搜索功能，并且记录我的项目开发过程以及分享给大家。Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎，几乎实时搜索。总算也是实现了这个功能，期间踩了很多的坑，不过一直研究和实验查询相关的资料也是完成了，希望能够帮助到大家。￣▽￣)ブ🎉🎉🎉。
IK分词器
少营营的博客
07-22 746
IK分词器 1 目标 能安装IK分词器 会配置扩展词库和停用词库 2 讲解 在进行词条查询时，我们搜索“搜索”却没有搜索到数据！ 原因：lucene默认是单字分词，在开发中不符合查询的需求，需要定义一个支持中文的分词器。 解决方案：IK分词器 (1)IK分词器简介 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 (2)ElasticSear...
solr4.7中文分词器（ik-analyzer）配置
热门推荐
都是浮云
03-15 3万+
solr本身对中文分词的处理不是太好，所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理，ik-analyzer就是其中一个不错的中文分词器。 solr版本：4.7.0 需要ik-analyzer版本：IK Analyzer 2012FF_hf1 ik-analyzer下载地址：http://code.google.com/p/ik-analyzer/downloads
【转载】elasticsearch ik中文分词器控制最小粒度。单字查询解决方案。
清风唱诗人的博客
05-20 3919
前言:IK分词器最小拆分粒度是单字,如果我们直接使用match查询,会过多的结果,但是直接使用term查询,会导致大概率查不到数据,这里有一个match_parser的方式解决我们的尴尬.下边的文章转载自:一文搞懂match、match_phrase与match_phrase_prefix的检索过程 - 知乎 (zhihu.com) ps：上图的xmind文件，公号里可免费获取！ 一、在开始之前，完成数据准备： # 创建映射 PUT /tehero_index { "settings": {
Solr学习总结（八）IK 中文分词的配置和使用
weixin_34195142的博客
06-20 284
　　最近，很多朋友问我solr 中文分词配置的问题，都不知道怎么配置，怎么使用，原以为很简单，没想到这么多朋友都有问题，所以今天就总结总结中文分词的配置吧。   　　有的时候，用户搜索的关键字，可能是一句话，不是很规范。所以在 Solr 中查询出的时候，就需要将用户输入的关键字进行分词。   　　目前有很多优秀的中文分词组件。本篇只以  IKAnalyzer 分词为例，讲解如何在 solr...
支持solr5.5 solr6.0中IK分词需要的资料
06-13
标题和描述提到的是针对Solr 5.5和Solr 6.0版本的IK分词器支持的相关资料，这意味着这些资源可能包括配置文件、文档、示例代码或者更新日志，帮助用户在这些特定版本的Solr中集成和优化IK分词器。 首先，让我们来看...
solr6.0中IK分词需要的资料
01-07
导入词库通常涉及修改IK分词器的配置，指明词库的位置。 使用IK分词器的过程中，你还需要了解以下知识点： 1. 分词器的工作原理：IK分词器基于正向最大匹配（Forward Maximum Matching, FMM）和逆向最大匹配...
es设置分词最少一个字
Mr Zhang的博客
03-06 1188
es的常用设置，不受内容长度影响权重，分词去掉单字的，搜索更准确
Elasticsearch中使用IK分词配置
一切从零开始
06-29 3175
IK分词 ES elasticsearch Analyer
ElasticSearch7.6 IK分词器（三）
qq_41030039的博客
04-21 1579
一、什么是IK分词器？ 分词：即把一段中文或英文划分成一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作。默认的中文分词是将每个字看成一个词，比如“今天真快乐”被分成今、天、真、快、乐，显然不符合要求，所以我们需要安装IK中文分词器，根据配置的.dic字典文件来进行分词。 IK提供了两个分词算法：ik_smart 最少切分，ik_max...
ES集群并配置IK分词器
日月忽其不淹兮，春与秋其代序 认知即成长
01-12 2665
一、ES集群搭建，建议在单机部署时安装完IK分词器再copy到其他机器进行集群部署，省去安装IK分词器的时间 1.单机部署，参照https://blog.youkuaiyun.com/ab7253957/article/details/85334259中搭建es的步骤，先搭建单机es再进行下面的步骤 2.修改配置文件config/elasticsearch.yml，标红属性是需要修改或增加的属性，如果是在...
solr加Ik分词器详细配置
西瓜咬人啦
10-16 1530
solr详细配置 1. 将solr项目部署项目到tomcat中 所需要的安装包 其中tomcat8.5.35为Linux版本 将solr安装包中的webapp复制到tomcat中将项目名改名为solr，让solr在汤姆猫服务器部署。也可以部署在weblogic服务器中。 2. 配置log4j.jar的日志文件和复制对应的jar包 将solr5.5安装包中对应的文件夹下的log4j的jar放入tomcat中solr项目lib中 将solr5.5安装包中对应的文件夹下的配置文件放入tomcat中
elasticsearch ik分词器配置使用，自定义分词
zhaoqingquanajax的博客
08-30 1724
安装 1，下载ik分词器（下载对应版本） ：https://github.com/medcl/elasticsearch-analysis-ik/releases 2，解压到 elasticsearch的plugins文件夹下 3，启动会自动加载 4，到elasticsearch的home下，运行命令 elasticsearch-plugin list 查看加载的插件 5，ik分词器提供了两种分词算法：ik_smark最少切分，ik_max_word最细精度切分 ik_smark最少切分： GET _
elasticsearch学习（六）：IK分词器
weixin_40482816的博客
09-19 1万+
IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出 了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为 面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。
Elastic：IK分词器分词、停用词热更新如何配置（一）基于API
55555的博客
12-16 1586
1. 基于API实现热更新 在ik的github有关于热更新的介绍 1.1 基于API的热更新的前置知识 热更新是IK新版本中才支持的功能，其API需要满足两个要求： 1、http请求中需要返回两个header，一个是Last-Modified，一个ETag。两个header都是字符串类型的。他们之中只要有一个发生变化，就会读取详情的数据并且更新词库，如果没有变化则不会更新词库。这个条件如果做前端的同学应该会比较熟悉，前端判断缓存是否更改时也是通过这两个条件。 Last-Modified是上次更新时间 E
ElasticSearch学习笔记 | 分词、IK分词器和自定义分词
北鹤M的代码手账
01-27 846
一个 tokenizer（分词器）接收一个字符流，将之割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens流。 例如，whitespace tokenizer遇到空白字符时分割文。它会将文本 "Quick brown fox!“ 分割为 [Quick, brown, fox]。该 tokenizer（分词器）还负责记录各个term（词条）的顺序或 position 位置（用于 phrase短语和 word proximity 词近邻查询），以及term（词条）所代表的原始word（单
中文分词技术实验分析与实践
1. IKAnalyzer：一个基于Java语言开发的开源中文分词工具。 2. Jieba：一个流行的Python中文分词库。 3. THULAC：清华大学自然语言处理与社会人文计算实验室开源的中文词法分析工具。 4. HanLP：一个专门面向中文...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值