IK分词器修改最小分词长度

最新推荐文章于 2023-06-29 14:56:46 发布

原创最新推荐文章于 2023-06-29 14:56:46 发布 · 2.8k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#IK分词器 #设置最小分词长度 #修改分词长度 #IK分词器源码 #IK源码修改

solr 专栏收录该内容

1 篇文章

订阅专栏

本文介绍如何修改IK分词器的源码，以调整其最小分词长度至特定数值，通过下载源码并进行简单修改，再重新打包替换原包即可实现。

目前做的项目中由于业务需求，需要把IK修改为最小分词长度为3，因此从网上下了IK的源码来修改。

IK分词器源码地址：https://download.youkuaiyun.com/download/gxl___/10750163

修改方法：

如上图所示，在该类中加入红框中的代码即可达到要求。如果想改为最小分词长度为2，将3改为2。

导入项目时选择导入maven项目，修改完之后重新打jar包替换原来的包即可。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

郭大仁

关注关注

3
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

ElasticSearch(3) -- IK分词器

erainm

09-03

220

ES支持的分词器有很多,这里我使用的是常用的IK分词器 1. 分词模式一:ik_max_word 会将文本最细力度的拆分先在kibana测试一波输入下面的请求： POST _analyze { "analyzer": "ik_max_word", "text": "南京市长江大桥" } 结果: { "tokens" : [ { "token" : "南京市", "start_offset" : 0, "end_offset" : 3, .

elasticsearch学习（六）：IK分词器

weixin_40482816的博客

09-19

1万+

IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。1）采用了特有的“正向迭代最细粒度切分算法“，具有60万字/秒的高速处理能力。

参与评论您还未登录，请先登录后发表或查看评论

solr4.7中文分词器（ik-analyzer）配置

热门推荐

都是浮云

03-15

3万+

solr本身对中文分词的处理不是太好，所以中文应用很多时候都需要额外加一个中文分词器对中文进行分词处理，ik-analyzer就是其中一个不错的中文分词器。 solr版本：4.7.0 需要ik-analyzer版本：IK Analyzer 2012FF_hf1 ik-analyzer下载地址：http://code.google.com/p/ik-analyzer/downloads

ElasticSearch文本分析(二)

李玉志的博客

06-30

750

文章目录ElasticSearch文本分析(二)分词器参考字符组分词器配置例子Edge n-gram 分词器例子配置`max_gram`参数的限制配置示例`keyword`分词器例子结合分词过滤器LowerCase分词器例子路径层次分词器例子配置配置示例详细例子模式分词器示例配置配置示例简单的模式匹配分词器标准的分词器配置配置实例`UAX URL email`分词器空格分词器配置分词过滤器参考字符过滤器参考 ElasticSearch文本分析(二) 分词器参考 分词器接收字符流，将其分解成单独的分词，并输出

es中文分词器设置

u013548106的专栏

12-12

1602

keep_first_letter启用此选项时，例如：刘德华>ldh，默认值：true keep_separate_first_letter启用该选项时，将保留第一个字母分开，例如：刘德华>l，d，h，默认：假的，注意：查询结果也许是太模糊，由于长期过频 limit_first_letter_length设置first_letter结果的最大长度，默认值：16 keep_full_pinyin当启用该选项，例如：刘德华> [liu，de，hua]，默认值：true keep...

【转载】elasticsearch ik中文分词器控制最小粒度。单字查询解决方案。

清风唱诗人的博客

05-20

4007

前言:IK分词器最小拆分粒度是单字,如果我们直接使用match查询,会过多的结果,但是直接使用term查询,会导致大概率查不到数据,这里有一个match_parser的方式解决我们的尴尬.下边的文章转载自:一文搞懂match、match_phrase与match_phrase_prefix的检索过程 - 知乎 (zhihu.com) ps：上图的xmind文件，公号里可免费获取！一、在开始之前，完成数据准备： # 创建映射 PUT /tehero_index { "settings": {

Solr学习总结（八）IK 中文分词的配置和使用

weixin_34195142的博客

06-20

307

　　最近，很多朋友问我solr 中文分词配置的问题，都不知道怎么配置，怎么使用，原以为很简单，没想到这么多朋友都有问题，所以今天就总结总结中文分词的配置吧。　　有的时候，用户搜索的关键字，可能是一句话，不是很规范。所以在 Solr 中查询出的时候，就需要将用户输入的关键字进行分词。　　目前有很多优秀的中文分词组件。本篇只以 IKAnalyzer 分词为例，讲解如何在 solr...

IK分词器

少营营的博客

07-22

765

IK分词器 1 目标能安装IK分词器会配置扩展词库和停用词库 2 讲解在进行词条查询时，我们搜索“搜索”却没有搜索到数据！原因：lucene默认是单字分词，在开发中不符合查询的需求，需要定义一个支持中文的分词器。解决方案：IK分词器 (1)IK分词器简介 IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。 (2)ElasticSear...

支持solr5.5 solr6.0中IK分词需要的资料

06-13

标题和描述提到的是针对Solr 5.5和Solr 6.0版本的IK分词器支持的相关资料，这意味着这些资源可能包括配置文件、文档、示例代码或者更新日志，帮助用户在这些特定版本的Solr中集成和优化IK分词器。首先，让我们来看...

elasticsearch ik分词器配置使用，自定义分词

zhaoqingquanajax的博客

08-30

1754

安装 1，下载ik分词器（下载对应版本）：https://github.com/medcl/elasticsearch-analysis-ik/releases 2，解压到 elasticsearch的plugins文件夹下 3，启动会自动加载 4，到elasticsearch的home下，运行命令 elasticsearch-plugin list 查看加载的插件 5，ik分词器提供了两种分词算法：ik_smark最少切分，ik_max_word最细精度切分 ik_smark最少切分： GET _

solr6.0中IK分词需要的资料

01-07

导入词库通常涉及修改IK分词器的配置，指明词库的位置。使用IK分词器的过程中，你还需要了解以下知识点： 1. 分词器的工作原理：IK分词器基于正向最大匹配（Forward Maximum Matching, FMM）和逆向最大匹配...

es设置分词最少一个字

Mr Zhang的博客

03-06

1246

es的常用设置，不受内容长度影响权重，分词去掉单字的，搜索更准确

Elasticsearch中使用IK分词配置

一切从零开始

06-29

3287

IK分词 ES elasticsearch Analyer

ElasticSearch7.6 IK分词器（三）

qq_41030039的博客

04-21

1605

一、什么是IK分词器？分词：即把一段中文或英文划分成一个个的关键字，我们在搜索时会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作。默认的中文分词是将每个字看成一个词，比如“今天真快乐”被分成今、天、真、快、乐，显然不符合要求，所以我们需要安装IK中文分词器，根据配置的.dic字典文件来进行分词。 IK提供了两个分词算法：ik_smart 最少切分，ik_max...

ES集群并配置IK分词器

日月忽其不淹兮，春与秋其代序认知即成长

01-12

2694

一、ES集群搭建，建议在单机部署时安装完IK分词器再copy到其他机器进行集群部署，省去安装IK分词器的时间 1.单机部署，参照https://blog.youkuaiyun.com/ab7253957/article/details/85334259中搭建es的步骤，先搭建单机es再进行下面的步骤 2.修改配置文件config/elasticsearch.yml，标红属性是需要修改或增加的属性，如果是在...

solr加Ik分词器详细配置

西瓜咬人啦

10-16

1554

solr详细配置 1. 将solr项目部署项目到tomcat中所需要的安装包其中tomcat8.5.35为Linux版本将solr安装包中的webapp复制到tomcat中将项目名改名为solr，让solr在汤姆猫服务器部署。也可以部署在weblogic服务器中。 2. 配置log4j.jar的日志文件和复制对应的jar包将solr5.5安装包中对应的文件夹下的log4j的jar放入tomcat中solr项目lib中将solr5.5安装包中对应的文件夹下的配置文件放入tomcat中

Elastic：IK分词器分词、停用词热更新如何配置（一）基于API

55555的博客

12-16

1743

1. 基于API实现热更新在ik的github有关于热更新的介绍 1.1 基于API的热更新的前置知识热更新是IK新版本中才支持的功能，其API需要满足两个要求： 1、http请求中需要返回两个header，一个是Last-Modified，一个ETag。两个header都是字符串类型的。他们之中只要有一个发生变化，就会读取详情的数据并且更新词库，如果没有变化则不会更新词库。这个条件如果做前端的同学应该会比较熟悉，前端判断缓存是否更改时也是通过这两个条件。 Last-Modified是上次更新时间 E

ElasticSearch学习笔记 | 分词、IK分词器和自定义分词

北鹤M的代码手账

01-27

882

一个 tokenizer（分词器）接收一个字符流，将之割为独立的 tokens（词元，通常是独立的单词），然后输出 tokens流。例如，whitespace tokenizer遇到空白字符时分割文。它会将文本 "Quick brown fox!“ 分割为 [Quick, brown, fox]。该 tokenizer（分词器）还负责记录各个term（词条）的顺序或 position 位置（用于 phrase短语和 word proximity 词近邻查询），以及term（词条）所代表的原始word（单