IK 分词器空格支持

最新推荐文章于 2025-01-27 21:18:02 发布
原创 最新推荐文章于 2025-01-27 21:18:02 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es #ik #ik 空格

本文介绍了如何使IK分词器支持带空格的分词。针对IK分词器默认不支持空格的问题，通过直接修改源码，包括CharacterUtil和Dictionary类，然后重新编译、安装并配置ES，实现对带空格关键词的正确分词。

IK 分词器，支持带空格的分词

背景

ES 用到 中文（IK） 分词;
IK分词器 词典是不支持空格的！ 尝试在词典中 加入带空格的 关键词， 也不能正确分词。

思路

直接修改源码

步骤

  1. 下载代码，refer: elasticsearch-analysis-ik

  2. idea 导入工程，切换到对应分支或者 tag(version 要求和 ES完全匹配)
    org.wltea.analyzer.core.CharacterUtil 做如下修改：
    在这里插入图片描述
    org.wltea.analyzer.dic.Dictionary 做如下修改在这里插入图片描述
    确认 POM文件的版本与 ES匹配：
    在这里插入图片描述

  3. 修改源码

     mvn clean
 mvn compile
 mvn package

  4. 重新编译、安装、测试
    4.1 ./elasticsearch-plugin install file:///${base_path}/target/releases/elasticsearch-analysis-ik-7.9.3.zip
    4.2 配置 IKAnalyzer.cfg.xml， 配置带有空格的词典， 配置停用词
    4.3 重启ES
    4.4 测试

最低0.47元/天 解锁文章
alice 加入ik分词，中文空格分词，hanlp 语义分词
08-16
添加处理alice智能应答中文识别，添加hanlp,自定义接口，处理外部接口，restful,cmd,DB标签文档使用描述，由于添加hanlp最新hanlp-1.6.7 字典，文件放百度网盘，如果下载不了，可以QQ联系：451832143
solr ik分词器
10-24
本教程将详细解释如何在Solr中安装和使用IK分词器。 首先，让我们理解一下什么是分词器。在文本检索和自然语言处理领域，分词是将连续的文本分解成有意义的词语单元（如单词或短语）的过程。对于中文，由于没有明显...
记一次空格导致的分词故障
nanguo123的专栏
09-22 613
搜索效果很大程度上依赖于分词器的性能，而开源分词器普遍在电商场景上优化不足，即使是业界先进的中文分词器，例如百度的LAC，Hanlp，在默认词库下，都无法正确分词iphone14promax。因此使用开源分词器，人工对分词结果的干预能力就非常重要了，而经过这次的故障，显然IK在这方面的不足非常明显。
ElastIcSearch分词器
weixin_45688203的博客
03-30 2240
ElastIcSearch分词器 Analysis 和 Analyzer Analysis： 文本分析是把全文本转换一系列单词(term/token)的过程，也叫分词(Analyzer)。Analysis是通过Analyzer来实现的。分词就是将文档通过Analyzer分成一个一个的Term(关键词查询),每一个Term都指向包含这个Term的文档。 Analyzer 组成 ​ 注意: 在ES中默认使用标准分词器: StandardAnalyzer 特点: 中文单字分词 单词分词 我是中国人 this
ElasticSearch第五篇：IK分词器，自定义扩展字典
不经意的博客
05-29 6079
一、什么是ik分词器 分词：即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数 据进行分词，然后进行一个匹配操作，默认的中文分词是每个字看成一个词，比如“我爱狂神”会被分为“我，“爱”，“狂”，“神”，这显 然是不符合要求的，所以我们需要安装中文分词器ik来解决这个问题， IK提供了两个分词算法：ik_smart和ik_max_word，其中ik_smart为最少切分，ik_max_word为最细粒度划分！ 二、如何使用 1.下载 各版本下载
jieba分词支持关键词带空格和特殊字符
热门推荐
王佩的优快云博客
02-25 1万+
jieba分词支持关键词带空格和特殊字符 　　在默认情况下，当关键词中带有空格或特殊字符，如World Economic Forum，用jieba分词，会将该词分成三个词：World，Economic，Forum。 #默认jieba： import jieba jieba.load_userdict("dict/userDict") str1="People's Republic
【Elasticsearch】内置分词器和IK分词器
在技术的广袤天地里，本博客如精准罗盘。剖析前沿科技，深掘代码奥秘，以精炼笔触，带您穿越复杂技术迷宫，速达知识彼岸。
01-27 5196
Elasticsearch是一个基于Lucene的分布式、RESTful风格的搜索和数据分析引擎。它旨在快速地存储、搜索和分析大量的数据，被广泛应用于各种领域，如日志分析、电商搜索、企业内容管理等。Elasticsearch的核心优势在于其分布式架构，能够处理PB级别的数据，并提供高可用性和可扩展性。它通过将数据分片存储在多个节点上，实现数据的并行处理和容错能力。同时，提供了简单易用的，方便开发者进行数据的索引搜索和管理。
IK分词器
12-21
总之，IK分词器是Lucene生态中的重要组件，为中文文本处理提供了强大支持。无论是开发者还是研究者，都能从中受益，实现更高效、精准的文本分析和处理。随着技术的不断发展，IK分词器将继续在中文信息处理领域发挥...
ik分词器源码7.8.1
最新发布
10-20
在实际部署中，ik分词器对系统资源占用合理，且在分布式环境下的兼容性表现良好，能够支持大规模的文本处理需求。由于ik分词器的开源性质，开发者能够自由地访问源码，对其进行定制化开发，以满足特定的业务场景。 ...
ElasticSearch 安装中文分词器 IK Analyzer
成长是一辈子的事
01-15 1390
前言 全文搜索对于中文分词很重要，所以需要IK插件分词支持中文分词。英文使用空格很容易分词，中文需要根据词意进行分词，需要【字典】支持。 安装 插件项目：https://github.com/medcl/elasticsearch-analysis-ik 未安装前【分词测试】  post http://localhost:9200/_analyze { "text":"活动...
Elasticsearch分词器
xulong5000的专栏
07-15 536
内置分词器 Standard 中文被分成单个词，英文以空格切分，自动转为小写。 请求示例： GET 172.16.5.33:9200/_analyze { "text": "上海市长宁区虹桥路2451号格林东方酒店, I like it very much.", "analyzer": "standard" } Whitespace 按空格分词，中文不再被分词，英文保持大小写不变。 请求示例： GET 172.16.5.33:9200/_analyze { "text
elasticsearch索引从ik中文分词器拓展到使用逗号“，”分词
momo_mo520的博客
04-12 3275
问题描述： 有一个ES实体为，文章标签tags，以字符串形式储存，如“上海,民宿,迪士尼,happy”为一条数据。在实现文章标签搜索排序（使用elasticsearch2.4.4+springbootdata+jpa）时，遇到问题，显示的标签 汉字部分被分词成了一个字一个字，英文还是一个单词。 因此寻找方法改变分词方法，有两种办法，第一种，使用中文分词器插件，...
Elasticsearch实战(四)——IK分词器与自定义中文词库
qq_43553923的博客
04-01 664
IK分词器与自定义中文词库 内置分词器 ES总共提供了五种分词器，分别是：standard，simple，whitespace，stop，keyword。 ES默认使用内置的标准分词器(standard)，该分词器会根据根据单词进行分词，并将分词得到的单词转为小写形式，标准分词器不支持中文分词，会对中文分词以单个汉字为单位进行拆分。 简单分词器(simple)，简单分词器也会根据单词进行分词，但是它不会将数字当成一个单词，并且像don't，这种连词，它会简单的将它们分为两个词，即会根据'进行拆分，它也会将分
ElasticSearch学习之(二)--中文分词器
辉哥的博客
08-01 1006
一、什么是中文分词器 学过英文的都知道，英文是以单词为单位的，单词与单词之间以空格或者逗号句号隔开。而中文则以字为单位，字又组成词，字和词再组成句子。所以对于英文，我们可以简单以空格判断某个字符串是否为一个单词，比如I love China，love 和 China很容易被程序区分开来；但中文“我爱中国”就不一样了，电脑不知道“中国”是一个词语还是“爱中”是一个词语。把中文的句子切...
Elasticsearch 分词器
weixin_45761884的博客
03-17 2481
Elasticsearch 分词器 Standard Analyzer（默认） standard 是默认的分析器。它提供了基本语法的标记化（基于 Unicode 文本分割算法），适用于大多数语言。 【分词方式】区分中英文，英文按照空格切分同时大写转小写；中文按照单个词分词。 Simple Analyzer simple 分析器当它遇到只要不是字母的字符，就将文本解析成term，而且所有的 term 都是小写的。 【分词方式】 先按照空格分词，英文大写转小写，不是英文不分词。 Whitespace
中文分词入门：使用IK分词器进行文本分词（附Java代码示例）
weixin_44107140的博客
07-16 9408
中文分词在文本处理和信息检索中扮演着重要的角色。本文将介绍IK分词器，一个基于Lucene的开源中文分词工具。我们将详细讨论IK分词器的特点和使用方法，并提供一个简单的Java示例来演示如何使用IK分词器进行中文文本分词。
ElasticSearch中文分词（二）
qq_26896085的博客
02-13 353
1、中文分词 中文分词的难点在于，在汉语中没有明显的词汇分界点，如在英语中，空格可以作为分隔符，如果分隔不正确就会造成歧义。 常用中文分词器，IK、jieba、THULAC等，推荐使用IK分词器。 IK分词器 Elasticsearch插件地址:https://github.com/medcl/elasticsearch-analysis-ik #安装方法：将下载到的elasticse...
ElasticSearch之 ik分词器详解
pgcdnameming的博客
11-22 2733
IK分词器 简介，基本使用，以及扩展词典禁用词典
探索Elasticsearch中文分词器：IK分词器详解
- 支持热更新：IK分词器支持动态添加自定义词典，而无需重启Elasticsearch服务。 - 支持多种分词策略：除了上述的两种基本分词模式外，还支持成语、人名、地名等多种分词策略。 - 支持专有名词识别：特别适用于新闻...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值