Apache Solr 增加IKAnalyzer分词器

为Solr7定制的IKAnalyzer中文分词器插件 中文文本处理在信息检索和自然语言处理领域发挥着重要作用。IKAnalyzer作为一款开源的中文分词器,自2006年起就因其高效稳定的表现,在中文分词技术领域占据了重要的地位。IKAnalyzer的设计与实现充分考虑了中文分词的复杂性,以及不同应用场景下的实际需求。其核心功能包括智能分词、英文单词、数字和中文词汇混合识别等。IKAnalyzer的优势在于其词库丰富、支持多级扩展、拥有高度的可配置性,这使得它能够满足从基本的中文文本处理到复杂的企业级应用的各种需求。 阅读详情

下载IKAnalyzer

IKAnalyzer分词器下载地址:http://code.google.com/p/ik-analyzer/downloads/detail?name=IKAnalyzer3.2.8%20bin.zip&can=2&q=


配置IKAnalyzer

修改scheme.xml

<fieldType name="text" class="solr.TextField">
		<analyzer type="index">
		  <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"  isMaxWordLength="false"/>
		  <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
		  <filter class="solr.LowerCaseFilterFactory"/>
		</analyzer>
		<analyzer type="query">
		   <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
		   <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
		   <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
		   <filter class="solr.LowerCaseFilterFactory"/>
		</analyzer>   
</fieldType>


索引处做最细分词,尽量让查询时能匹配

isMaxWordLength="false"

<analyzer type="index">
		  <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory"  isMaxWordLength="false"/>
		  <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
		  <filter class="solr.LowerCaseFilterFactory"/>
		</analyzer>
查询处做最大分词,尽量查找用户所需

isMaxWordLength="true"

<analyzer type="query">
		   <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
		   <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
		   <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
		   <filter class="solr.LowerCaseFilterFactory"/>
		</analyzer>

配置jar包

IKAnalyzer.jar放到:work/Je.../webapp/WEB-INF/lib/IKAnalayzer.jar
IKAnalyzer.cfg.xml放到:work/Je.../webapp/WEB-INF/classes/IKAnalyzer.cfg.xml

IKAnalyzer中文分词器jar包 solr配置用到的IKAnalyzer分析器所需要的jar包及配置文件 立即下载

相关推荐

IKAnalyzer中文分词器V2012_U5使用手册

IKAnalyzer中文分词器V2012_U5使用手册

nutch1.8+solr 4 配置过程+ikanalayzer2012 中文分词器

Nutch 2.2.1目前性能没有Nutch 1.7好,参考这里,NUTCH FIGHT! 1.7 vs 2.2.1. 所以我目前还是使用的Nutch 1.8。 1 下载已编译好的二进制包,解压 $ wget http://psg.mtu.edu/pub/apache/nutch/1.8/apache-nutch-1.8-bin.tar.gz $ tar zxf apache-nutch-

musicmtv的专栏 3301

单片机毕业设计-基于STM32单片机的智能镜系统-仿真设计

可通过MQ-2监测当前烟雾浓度可通过温湿度传感器监测当前温湿度可通过光照强度传感器监测光照强度可通过蜂鸣器进行烟雾报警可通过语音识别模块进行反馈播报状态可通过按键设置阈值三个继电器控制灯、加湿、风扇标签:STM32单片机、OLED112864、DHT11、BH1750、继电器、SU-03T、MQ-2、蜂鸣器题目扩展:智能家居安防、智能大棚控制系统、智能环境检测系统项目编号:ZL-32-240604-FZ。

bsdog11的博客 964

C#:Microsoft.Ink 手写识别(HandWriting Recognition)

csharp:Microsoft.Ink 手写识别(HandWriting Recognition) 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

城市蜗牛 1万+

STM32 FOC电机控制:手把手教你用CubeMX配置TIM1中心对齐PWM(含代码避坑)

本文详细解析了STM32 FOC电机控制中TIM1中心对齐PWM的配置方法,涵盖CubeMX图形化设置、HAL库代码调用及常见问题排查。特别针对L6230Q驱动芯片的使能逻辑和死区时间配置提供实用指南,帮助开发者高效实现无刷电机的高性能控制。

weixin_27027459的博客 442

八戒留档之宝塔部署edusoho

1.安装好基础的服务 2.上传你下载的代码到www/wwwroot文件3、配置网站 4.编辑创建的网站修改nginx文件 NGINX配置如下 server { listen 80; server_name 你的域名; root /www/wwwroot/项目文件名称/web/; location / { try_files $uri /app_dev.php$is_args$args; } ...

wolf23151269的博客 2540

使用IK Analyzer实现中文分词

项目结构 2.Test.java import java.io.IOException; import java.io.StringReader; import java.util.ArrayList; import java.util.List; import org.apache.lucene.analysis.Analyzer; import org.apache.

qq_5的博客 1万+

混合示教长短时记忆网络的车辆轨迹预测研究

论文"混合示教长短时记忆网络的车辆轨迹预测研究"中数据处理及MTF-LSTM模型实现代码,模型在Pytorch框架下实现。

ColinFhz的博客 1444

Solr配置中文分词器IKAnalyzer及增删改查调用

一、配置IKAnalyzer中文分词器Solr 版本5.2.1IKAnalyzer2012_u6.jar报错 ,用IKAnalyzer2012_FF_hf1.jar 替换可解决解决lucene4.0与IKAnalyzer的冲突。解决Exception in thread "main" java.lang.VerifyError: class org.wltea.analyzer.lucene.IK

jethai的博客 3168

DEMATEL-ISM模型的Python实现——方法介绍以及代码复现

本文参考文献与网络资料,对DEMATEL-ISM方法做了介绍何步骤描述,并给出Python代码进行了计算和绘图。

cros1的博客 2万+

线性回归LinearRegression

对视频中线性回归算法的相关内容进行总结与记录 文章目录一、理论基础二、实例2.1 一元线性回归2.1.1 推导过程2.1.2 代码实现(基于numpy)2.1.3 代码实现(基于sklearn)2.2 多元线性回归2.2.1 代码实现(基于numpy)2.2.2 代码实现(基于sklearn) 一、理论基础 回归 通常是指利用某个函数,尽可能把数据样本点“串”在一起,用于描述输入变量和输出变量间的变化关系 线性回归 特点:用来把数据“串”起来的那个函数是线性的 (一元线性回归(一个自变量) &a.

邱邱邱的博客 1065

Solr之配置中文分词器IKAnalyzer

一、添加中文分词器jar包 把中文分词器IKAnalyzer2012FF_u1.jar添加到apache-tomcat-7.0.90\webapps\solr\WEB-INF\lib目录下 二、新建classes文件夹 新建classes文件夹至apache-tomcat-7.0.90\webapps\solr\WEB-INF 三、配置IKAnalyzer配置文件和自定义词典和停用词词...

绣花针 209

SQL注入详解

SQL注入(SQL Injection)是一种常见的Web安全漏洞,主要形成的原因是在数据交互中,前端的数据传入到后台处理时,没有做严格的判断,导致其传入的“数据”拼接到SQL语句中后,被当作SQL语句的一部分执行。 从而导致数据库受损(被脱库、被删除、甚至整个服务器权限陷)。 即:注入产生的原因是后台服务器接收相关参数未经过滤直接带入数据库查询...

渗透之路,攻防之间皆学问 26万+

什么是Solr,它能为我们解决什么问题,怎么用?

  一.  什么是Solr? 其实我们大多数人都使用过Solr,也许你不会相信我说的这句话,但是事实却是如此啊 ! 每当你想买自己喜欢的东东时,你可能会打开某宝或者某东,像这样一搜,就能搜到很多东西,你知道你看到的这些数据都来自哪儿吗?百度一下你就知道!这些数据来自哪儿吗?等你了解完Solr后你就知道答案啦!   现实生活中我们都知道大多数网站或应用都必须具有某种搜索功能,问题是搜...

飘 11万+

编织数据的实时脉络——构建基于MySQL的数据编织平台,实现实时数据治理

除了上述基本设置外,我们还可以根据实际应用场景自定义一些特定的监控项目。例如,对于某些高并发读写的表,可能需要特别关注它们的锁等待时间和回滚段使用率;而对于涉及到跨库关联查询的操作,则应当着重检查网络延迟及缓存命中率等因素。-- 获取InnoDB行级锁等待情况-- 统计各表的缓存命中率这段SQL脚本不仅展示了如何查询InnoDB引擎下的锁争用状况,还介绍了计算表级别缓存命中率的方法,有助于深入理解系统的运行状态。

墨夶的博客 1789

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

IKAnalyzer中文分词器,兼容solr6.6.0,优化英文数字细粒度搜索

IKAnalyzer2017_6_6_0 码云:https://git.oschina.net/iicode/IKAnalyzer2017_6_6_0 Github:https://github.com/ittalks/IKAnalyzer2017_6_6_0 IKAnalyzer2017_6...

chenju0068的博客 1441

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【Apache Solr系列】使用IKAnalyzer中文分词以及自定义分词字典

之前写的Apache Solr只介绍了简单的搭建以及导入数据等功能,最近由于项目要求,添加索引分词和搜索分词功能;分词的项目有包括好几个:

Jonathan.Wei的专栏 7658

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Apache Solr 4.9上配置IKAnalyzer中文分词插件

文章目录solr的介绍及其安装下载IKAnalyzer安装并配置IKAnalyzer记两个bug solr的介绍及其安装 一句话概括:solr是基于Lucene的Java搜索引擎服务器,其部署要搭配tomcat Solr的介绍及其安装详见:什么是Solr,它能为我们解决什么问题,怎么用? Apache Solr 4.9.0下载:https://pan.baidu.com/s/1Ld1dzt2FQ_xAyom8Yd8ppQ 提取码:tnn2 下载IKAnalyzer 下载IKAnalyzer可以到这个地址

阿坨的博客 545

分布式项目中使用solr搜索+IKAnalyzer中文分词器进行项目开发

Solr概述 1.什么是Solr Solr 是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene的全文搜索服务器。 Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。 Solr可以独立运行,运行在Jetty、Tomcat等这些Servlet容器中,Solr 索引的实现方法很简单, 用 POST 方法向 Solr 服...

9426474的博客 411

【详解】Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer

Apache Solr 是一个高性能的全文搜索引擎服务器,支持多种语言的文本处理,包括中文。​ 是一个开源的、基于Java的中文分词器,它提供了标准分词和智能分词两种模式。​ 是一个用于将中文转换为拼音的分词器,常用于拼音搜索和排序。在使用Apache Solr进行全文搜索时,为了支持中文分词和拼音分词,通常会配置​。在处理中文搜索时,通常需要使用专门的中文分词器来提高搜索的准确性和效率。​的jar包,并将其放置在Solr的​。​的jar包,并将其放置在Solr的​。​文件中定义字段类型和字段,使用​。

牛肉胡辣汤 851

solr8.4.1和ikanalyzer-solr5的安装

1、安装环境 apache-solr-8.4.1 java 1.8 ikanalyzer-solr5 Windows 10 2、Solr安装 solr下载地址:https://downloads.apache.org/lucene/solr/ 这里下载的是8.4.1版本的 下载、解压之后,进入bin目录启动solr。 启动后直接访...

shuizhongyueliangya的博客 476

Solr4.8—IKAnalyzer的配置

一. 所需分词包 IKAnalyzer:IK Analyzer 2012FF_hf1      IK分词器下载 二.IKAnalyzer配置 solr的配置安装 solr配置IKAnalyzer下载后解压,把IKAnalyzer.cfg.xml、stopword.dic拷贝E:\dev\solr_tomcat\solr\collection1\conf下面,把IKAnal

csmnjk的专栏 2077

Apache-solr

1.1.下载 从Solr官方网站(http://lucene.apache.org/solr/)下载Solr4.10.3,根据Solr的运行环境,Linux下需要下载lucene-4.10.3.tgz,windows下需要下载lucene-4.10.3.zip。 Solr使用指南可参考:https://wiki.apache.org/solr/FrontPage。 下载l...

ako881010的博客 235

Solr学习(二)为Solr加入中文分词器

1 下载分词器: 下载中文分词器(IK Analyzer 2012FF_hf1.zip ):http://ik-analyzer.googlecode.com/files/IK%20Analyzer%202012FF_hf1.zip 2 加入到Solr: (1)将IKAnalyzer2012FF_u1.jar 复制到 E:\apache-tomcat-7.0.47\webapps

jiq•钦's technical Blog 1672

Apache Solr 9.1-(一)初体验单机模式运行

Solr是一个基于Apache Lucene的搜索服务器,Apache Lucene是开源的、基于Java的信息检索库,Solr能为用户提供无论在任何时候都可以根据用户的查询请求返回结果,它被设计为一个强大的文档检索引擎。

老杜的博客 2697
上一篇: java反射原理
下一篇: jquery tab切换 标签切换插件——jQuery.fn.tabSwitch
欧德曼
博客等级 码龄19年 63粉丝 82原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值