中文分词及拼音分词

最新推荐文章于 2024-11-26 22:16:01 发布
原创 最新推荐文章于 2024-11-26 22:16:01 发布 · 1.9k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#es

本文详细介绍了如何在Elasticsearch中安装和配置ik分词插件及拼音插件，包括创建文件夹、解压插件包、修改配置文件等步骤，帮助读者快速掌握Elasticsearch插件安装流程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

相关软件下载

elasticsearch-analysis-ik-6.4.2.zip
elasticsearch-analysis-pinyin-6.4.2.zip

安装插件

ik分词插件安装

#在elasticsearch的plugins/目录下创建ik文件夹
cd elasticsearch/plugins/
mkdir ik
#解压文件
cd ik
unzip /es/tools/elasticsearch-6.4.2/elasticsearch-analysis-ik-6.4.2.zip
#修改配置文件
vi config/IKAnalyzer.cfg.xml

注：根据实际需求修改远程热更新分词及停止词，请求为文件，默认一行一个关键词或停止词

拼音插件安装

#在elasticsearch的plugins/目录下创建pinyin文件夹
mkdir pinyin
#解压文件
cd pinyin
unzip /es/tools/elasticsearch-6.4.2/elasticsearch-analysis-pinyin-6.4.2.zip
#启动
#重启elasticsearch

中文拼音分词器
11-19
针对中文进行修改的拼音分词器，很强大，支持首字母搜索、全拼搜索，首字母+全拼搜索！配置如下：<fieldtype name="text_pinyin" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true" /> <filter class="home.rong.joker.pinyin.solr.PinyinTokenFilterFactory" pinyinAll="true" minTermLength="2" /> <filter class="home.rong.joker.pinyin.solr.PinyinNGramTokenFilterFactory" nGramChinese="true" nGramNumber="true" /> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" useSmart="true" /> <filter class="home.rong.joker.pinyin.solr.PinyinTokenFilterFactory" pinyinAll="true" minTermLength="2" /> <filter class="home.rong.joker.pinyin.solr.PinyinNGramTokenFilterFactory" nGramChinese="true" nGramNumber="true" /> </analyzer> </fieldtype>
中文，拼音分词使用练习记录
qq_39750658的博客
02-27 268
#删除索引 DELETE tt #设置全局属性 PUT tt { "settings": { "analysis": { "analyzer": { "ik_smart_pinyin": { "type": "custom", &qu
中文拼音分词
chenxipao8932的博客
11-26 455
最近工作中经常遇到用户的查询是这种类型，handuyishe， chuntianxingganchangqun，leisisiwa， 实在找不到好的办法，也不想用拼音词典分词，所以看了网上一些资料，写了一个正则表达式， [^aoeiuv]?h?[iuv]?(ai|ei|ao|ou...
使用Pinyin4j进行拼音分词
悠闲咖啡007的博客
01-16 1062
使用maven引入相关的jar dependency> groupId>com.belerwebgroupId> artifactId>pinyin4jartifactId> version>2.5.1version> dependency> 创建Pinyin4jUtil package com.os.core.util.solr; import net.s
Es中文分词器+拼音分词器
最新发布
Think_and_work的博客
11-26 1038
分词是es进行搜索的一个核心内容，将输入内容分词之后，进行倒排索引的建立那么有常见的有哪些呢？而在国内实际使用的业务的话，一般就是中文分词器IK Analyzer、拼音分词器Pinyin Analyzer、以及默认的标准分词器Standard Analyzer。我们也以这其中的使用的比较多的中文分词器IK Analyzer、拼音分词器Pinyin Analyzer作为讲解。
es拼音分词插件7.5.0
11-15
拼音分词是指将中文文本转换为对应的拼音形式，并且能够支持汉字到拼音的转换以及拼音的分词处理。这种处理方式对于处理中文搜索具有重要意义，尤其是在需要对中文内容进行精准检索的应用场景中。 Elasticsearch是...
lucene6.6+拼音分词+ik中文分词包
09-27
本文将详细讲解如何在Lucene 6.6版本中结合拼音分词和IK中文分词，以及如何利用自定义词典和停用词表提升分词效率。 首先，我们来了解核心组件——Lucene 6.6。这个版本的Lucene引入了多项改进，包括更快的搜索速度...
Elasticsearch中拼音分词器
09-03
拼音分词器允许我们对中文文本进行处理，将其转换为对应的拼音形式，从而实现基于拼音的搜索。这对于中文用户的搜索体验提升大有裨益，因为用户往往习惯于使用拼音进行关键词输入。 ### 1. 拼音分词器简介 Elastic...
PHP中文工具类支持汉字转拼音拼音分词简繁互转
08-07
PHP 中文工具类，支持汉字转拼音、拼音分词、简繁互转。 PHP Chinese Tool class, support Chinese pinyin, pinyin participle, simplified and traditional conversion
拼音分词 Pinyin4j+pinyinAnalyzer+lucene-analyzers
01-03
一个压缩包，包含三个jar Pinyin4j+pinyinAnalyzer+lucene-analyzers， 在solr中应用方便，经过测试，没有问题
拼音分词器
04-17
拼音分词
拼音分词属性
qq_39750658的博客
02-27 847
属性 说明 keep_first_letter 启用此选项时，例如：刘德华&gt; ldh，默认值：true keep_separate_first_letter 启用该选项时，将保留第一个字母分开，例如：刘德华&gt; l，d，h，默认：假的，注意：查询结果也许是太模糊，由于长期过频 limit_first_letter_length 设置first_letter结果的最...
分词与拼音转化
zz_hh_uu_的博客
06-14 354
#-*-coding:utf-8-*- from xpinyin import Pinyin import glob import codecs import pkuseg symbols = u''' !"#$%&'()*+,-./:;<=>?@[\]^_`{|}~£§°±·×÷ˇˉ—‖‘’“”‰′※、。〃々〆〇〈〉《》「」『』【】〒〓〔〕〖〗！，？￠￡￥''' if __n...
自定义Solr的分词器实现拼音首字母自动提示
11-26 401
Solr的分词器在建索引和查询时使用，配置schema.xml文件时需要为字段的类型配置索引(index)和查询（query）时的分词器，一般索引和查询都会使用同一种分词器，确保按某种方式建立的索引也能以相同的分词方式检索出来。Solr支持自定义的分词器，只需要在schema.xml配置即可（...
简单的基于规则的汉语拼音分词
weixin_40270946的博客
12-16 903
当用户输入连续的没有空格分隔的全拼时怎么把分词？本分词基于汉语拼音的规则进行简单的分词。有以下缺点： 1.在xi‘an（西安）这种会不分词，xi’nan（西南）会分成（xin an）新安。没有考虑词频语义。 2.如果拼音中有无法拆分的，例如womendekpi，因为kpi无法拆分，则整个分词会失败。 //声母表 static String[] smb = new String[]{"b", "p", "m", "f", "d", "t", "l", "n", "g", "h", "k" ,
Elasticsearch 5 Ik+pinyin分词配置详解
热门推荐
1.02^365=1377.41
12-28 3万+
一、拼音分词的应用拼音分词在日常生活中其实很常见，也许你每天都在用。打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示：拼音分词是根据输入的拼音提示对应的中文，通过拼音分词提升搜索体验、加快搜索速度。下面介绍如何在Elasticsearch 5.1.1中配置和实现pinyin+iK分词。二、IK分词器下载与安装关于IK分词器的介绍不再多少，
【ES】ES 拼音 Pinyin 分词器
九师兄
10-06 7562
1.概述 转载：https://www.cnblogs.com/sanduzxcvbnm/p/12083606.html Elastic的Medcl提供了一种搜索Pinyin搜索的方法。拼音搜索在很多的应用场景中都有被用到。比如在百度搜索中，我们使用拼音就可以出现汉字： 对于我们中国人来说，拼音搜索也是非常直接的。那么在Elasticsearch中我们该如何使用pinyin来进行搜索呢？答案是我们采用Medcl所创建的elasticsearch-analysis-pinyin分析器。下面我们简单介绍一下.
【Elasticsearch教程20】Pinyin拼音分词器 以及多音字修改
Java Spring Elasticsearch
09-20 4671
人员通讯录，不确定人名具体是哪个汉字，只知道读音，可以输入汉字+全拼音、汉字+拼音首字母、拼音首字母等股票名称，炒股的人都知道，股票太多，记住所有股票code是不可能的，所以常用拼音首字母查股票。Medcl大佬为我们提供了Pinyin分词器，可以让我们非常方便的使用拼音搜索文档。作为大龄程序员，30多岁了，不需要涉及太多技术，得潜心专研一两个技术，并戒掉浮躁，在项目实践中打磨自己。
拼音分词器实现原理与应用
拼音分词器是一种将中文文本转换为其对应拼音，并进行分词处理的软件工具。在自然语言处理（NLP）中，拼音分词是中文分词的一种方式，它依赖于中文字符与拼音之间的映射关系，将中文词语转换为拼音形式，并根据拼音...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值