Solr4 + Jcseg(数据导入) 安装配置--源自技术

Jcseg分词器的实现详解 1.之前的项目一直都是用的ik分词器,但是最近的一个项目项目大佬说ik好像很长时间都没更新,版本太老旧,故而用了新的jcseg的分词器,于是也上网找了一些资料,学习了一下如何使用jcseg分词器。 2.http://www.docin.com/p-782941386.html这个是网上找到的Jcseg中文分词器开发说明文档 3.具体实现 在pom文件里面添加相关架包 <depende... 阅读详情

本文介绍如何从数据库将数据导入到Solr并且使用jcseg进行分词


在tomcat目录下,solr的配置文件目录:\tomcat\solr\collection1\conf

(1)schema.xml

  1. <?xml version="1.0"  encoding="UTF-8"?>  
  2. <schema name="album" version="1.5">  
  3.   <types>  
  4.    <fieldType name="tdouble" class="solr.TrieDoubleField" sortMissingLast="true" omitNorms="true"/>  
  5.    <fieldtype name="string"  class="solr.StrField" sortMissingLast="true" omitNorms="true"/>  
  6.    <fieldType name="tdate" class="solr.TrieDateField" sortMissingLast="true" omitNorms="true"/>  
  7.    <fieldtype name="tlong" class="solr.TrieLongField" sortMissingLast="true" omitNorms="true"/>  
  8.    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" positionIncrementGap="0"/>   
  9.    <fieldType name="int" class="solr.TrieIntField" sortMissingLast="true" omitNorms="true"/>  
  10.     <fieldtype name="textComplex" class="solr.TextField">  
  11.         <analyzer>  
  12.             <tokenizer class="org.lionsoul.jcseg.solr.JcsegTokenizerFactory" mode="complex"/>  
  13.         </analyzer>  
  14.     </fieldtype>  
  15.   
  16.     <fieldtype name="textSimple" class="solr.TextField">  
  17.         <analyzer>  
  18.             <tokenizer class="org.lionsoul.jcseg.solr.JcsegTokenizerFactory" mode="simple"/>  
  19.         </analyzer>  
  20.     </fieldtype>  
  21.     </types>  
  22.  <fields>     
  23.   <field name="query" type="textComplex" indexed="true" stored="true"/>  
  24.   <field name="num" type="long" indexed="true" stored="true"/>  
  25.   <field name="_version_" type="long" indexed="true" stored="true"/>  
  26.  </fields>  
  27.   
  28.  <uniqueKey>query</uniqueKey>  
  29.  <!-- defaultSearchField>titleBak</defaultSearchField-->  
  30. </schema>  

(2) solrconfig.xml

添加:

  1. <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
  2.      <lst name="defaults">  
  3.        <str name="config">data-config.xml</str>  
  4.      </lst>  
  5. </requestHandler>  

(3) data-config.xml
  1. <?xml version="1.0" encoding="utf-8"?>    
  2. <dataConfig>  
  3.  <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver"    
  4.    url="jdbc:mysql://localhost:3306/search"    
  5.    user="root"    
  6.    password="passw0rd"/>  
  7.    <document name="test">  
  8.       <entity name="keyword" query="select query, num from aa">    
  9.           <field column="query" name="query" />    
  10.           <field column="num" name="num" />    
  11.       </entity>  
  12.  </document>   
  13. </dataConfig>  

(4)、将mysql的驱动文件mysql-connector-java-5.1.20-bin.jar添加到solr的war包中(\tomcat\webapps\solr\WEB-INF\lib),solr-dataimporthandler-4.6.jar 加入到 \tomcat\webapps\solr\WEB-INF\lib 中。

(5)、重启服务,在浏览器中输入http://localhost:8080/solr/#/collection1/dataimport//dataimport ,进入下面界面,进行导入:



同时,推荐一篇类似的文章:

http://blog.youkuaiyun.com/hbuxzy/article/details/9254071
java jcseg 官网_Jcseg轻量级中文分词器发布 2.6.2 Java轻量级开源自然语言处理包... Jcseg是基于mmseg算法的一个轻量级中文分词器,是Java轻量级开源自然语言处理包。同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene,solr和elasticsearch的分词接口!2.6.2版本主要更新内容如下:1,升级到对lucene 8.20,solr 8.2... 阅读详情

相关推荐

支持solr5.x和lucene5.x的jcseg分词器,亲测可用!

基于狮子的心的jcseg分词器,并优化部分功能,完美支持solr5.x和lucene5.x,本人是solr5.3,亲测可用。jcseg.properties使用原生的即可。本人还有pinyin拼音分词器资源,可以查看我的资源里。

solr+jcseg使用complex模式实现模糊搜索效果

solr+jcseg使用complex模式实现模糊搜索效果为了解决什么问题解决方案比较折中的方案 为了解决什么问题 假设字段name包含行政区名字,比如河北省,河北,使用complex模式: name:河北,此时搜索不到包含河北省的结果 name:河北省,此时搜索不到只包含河北的结果 虽然这两个词都在词库中,但是complex模式不会对这个词进行二次切分。 解决方案 使用search模式,对...

薛凌康的博客 374

音视频开发—H264相关概念和压缩原理详解(GOP、宏块、帧内压缩、帧间压缩)

本文讲述了H264相关概念和原理——GOP概念,SPS与PPS,帧内压缩原理,帧间压缩原理,解释了什么是运动补偿,什么运动矢量等等概念

weixin_46999174的博客 3981

搜索引擎:solr--搭建和分析中文分词器。下(jcseg和ICTCLAS)

1:jcseg是使用Java开发的一个开源的中文分词器,使用流行的mmseg算法实现。是一款独立的分词组件,不是针对lucene而开发,但是提供了最新版本的lucene和solr分词接口。

千丈之松的专栏 3044

win10自动修复-无限循环【通用完美】超简单解决办法

2020.02.14今个我的笔记本电脑(Thinkpad Carbon 7 X1)(win10)早晨起来发现蓝屏,上面显示自动修复失败,重启后依然自动修复失败,不断手动重启,始终是修复失败。然后上网开始搜集资料找解决办法。 前边介绍关闭自动修复,如何找出错文件的方法;如果想看最终解决办法,直接看第三部分 上网就会发现这种现象很常见,同时是电脑自动安装系统更新,或者安装某些驱动出现。解决办法也大...

y15941300574的博客 19万+

STM32H5 USB虚拟串口:用Classic驱动移植CDC实践

USB虚拟串口(CDC)是嵌入式系统最常用的主机通信方式之一,本质是借助USB协议模拟串口收发,无需额外驱动即可在PC上生成COM口。其实现依赖USB设备协议栈完成枚举、控制传输与批量传输。传统USBD Classic库不依赖RTOS,代码轻量、调用链短,非常适合裸机或轻量状态机架构;而USBX功能强大但需要ThreadX内核,资源开销较大。在电机控制器、传感器采集等场景中,日志输出与参数配置仅需简单的双向数据通道,Classic驱动往往更务实。本文基于STM32H5平台,详细梳理了使用Classic驱动移

weixin_29178069的博客 335

【大数据开发运维解决方案】Solr5.1+Jcseg分词器安装部署(中英文同义词、停止词配置)

Solr5.1+Jcseg分词器安装部署(同义词、停止词)注意:本文使用得Solr环境是基于上一篇文章:Linux Solr5.1安装及导入Oracle数据库表数据 笔者项目中用到的solr环境为5.1版本,分词器不是使用得solr得text_general分词器,而是jcseg分词器。因为笔者需要使用同义词和停止词功能,项目中得solr环境本人无法随意测试,所以打算在本地部署一个Solr5.1得环境,从Oracle数据库取数,使用项目中使用得jcseg分词器做本地环境得分词器,用来测试jcseg分词器同义

赵延东的一亩三分地 15万+

人工智能AI在软件测试和质量效能中的实际应用

人工智能在软件测试中应用,介绍chatGPT在测试中的应用,还有多个AI驱动的测试工具。

lindafang72的博客 1万+

中文分词器 jcseg 和 IK Analyzer

为什么要使用lucene中文分词器在 lucene 的开发过程中,常常会遇到分词时中文识别的问题,lucene提供了lucene-analyzers-common-5.0.0.jar包来...

天行健,君子以自强不息;地势坤,君子以厚德载物。 1171

STM32MP157+AD7606BSTZ四通道IEPE传感器控制器实战(附电路图)

本文详细介绍了基于STM32MP157和AD7606BSTZ的四通道IEPE传感器控制器设计实战,涵盖硬件架构、数据采集芯片对比、关键电路设计及信号处理算法。通过双核协同工作和优化算法,实现高精度振动监测与故障诊断,适用于工业机械状态监测等场景。

weixin_29171129的博客 367

UVM对象实例化及覆盖的几种方法

UVM对象实例化的方法有多种,以下以object为例: 1)第一种:直接利用new函数进行实例化 trans t1; t1 = new("t1");//利用new函数进行实例化 2)第二种:uvm_component_registry中提供的方法type_id::create,此种方法也是最常使用的方法 trans t2; t2 = trans::type_id::create("t2",this); 3)第三种:uvm_factory中提供的方法creat_object_by_type trans t

沧月九流的博客 3378

中文文本分词,关键词提取工具jcseg使用方法

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34247299的博客 1528

PLC的自抗扰控制(ADRC)算法

1、自抗扰控制算法,网上很多文章有所讲解,大家也可以关注韩京清教授的论文和书籍,这里就不赘述了,下面给出梯形图+SCL代码。 1、跟踪微分器 2、线性控制率 3、博图SCL控制代码 4、ADRC控制算法的所有公式汇总 ......

RXXW_Dor的博客 3854

solr6.5.1中文分词

为什么使用中文分词 下载jcseg maven打包 导入jar包 编写solrconfigxml 编辑managed-schema文件 设置分词字段 测试为什么使用中文分词举个例子,假如输入“周杰伦的演唱会”,就算使用模糊查询,也只能找到索引中与“xxx周杰伦演唱会xxx”相匹配的内容。 如果使用了中文分词,则可以找到所有与“周杰伦”、“演唱会”、甚至与“周杰”相关的内容。下载jcseg中文分词工

Mr_OOO的博客 2485

扫地机器人设计与实现——基于嵌入式系统的智能家居解决方案

本文介绍了基于嵌入式技术的扫地机器人设计与实现。通过利用STM32单片机、传感器、驱动系统等硬件组件,并结合路径规划与控制算法、远程控制等软件技术,设计出了一款具有智能避障、路径规划、自动充电等功能的扫地机器人。系统的开发不仅提高了清洁效率,也为进一步研究和优化扫地机器人提供了实践基础。

2201_76125393的博客 1639

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

Jcseg是基于mmseg算法的一个轻量级Java中文分词器

Jcseg是基于mmseg算法的一个轻量级中文分词器,同时集成了关键字提取,关键短语提取,关键句子提取和文章自动摘要等功能,并且提供了一个基于Jetty的web服务器,方便各大语言直接http调用,同时提供了最新版本的lucene, solr, elasticsearch的分词接口!Jcseg自带了一个 jcseg.properties文件用于快速配置而得到适合不同场合的分词应用,例如:最大匹配词长,是否开启中文人名识别,是否追加拼音,是否追加同义词等! Jcseg核心功能: 中文分词:mmseg算法

新技术革命 1655

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

【大数据开发运维解决方案】Solr6.2默认相似性算法检索匹配得分高于5.1版本问题分析

根据上面实验,于是这里怀疑不只是因为分词器分词差异导致的问题,更大的问题应该在于solr5和solr6的相似度得分算法不一样了,为了排除分词器带来的影响,于是将solr6.2使用的分词器也替换成solr5.1使用那一套分词器,再次索引同样的数据,做同样的查询发现得分还是很高,那就说明相似得分差异过大的主要原因是由于solr两个版本的算法不一致导致的了。 经过网上查找资料发现了solr5和solr6的默认相似度算法的确是变了

赵延东的一亩三分地 15万+

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Solr——企业级搜索应用服务器

​ 在Solr中、每一个Core、代表一个索引库、里面包含索引数据及其配置信息。​ Solr中可以拥有多个Core、也就是可以同时管理多个索引库、就像mysql中可以有多个数据库一样。​ 所以SolrCore可以理解成MySQL中的数据库;​ 作用:这个Tokenizer将文本的空格和标点当做分隔符。注意,你的Email地址(含有@符合)可能会被分解开;用点号(就是小数点)连接的部分不会被分解开。对于有连字符的单词,也会被分解开。<analyzer>

还想做MAD 656

Solr4 + Jcseg 学习

环境部署 这里我安装的是Solr4.6和jcseg1.9.2 下载地址(网上可以搜索到) 安装solr: 1.solr安装解压后,将\solr-4.6.0\dist目录下的solr-4.6.0.war 更名为solr.war,然后放到tomcat的webapps下; 2.将\solr-4.6.0\example目录下的solr目录拷贝到tomcat子目录中; 3

fover717的专栏 4737

Solr4+IKAnalyzer的安装配置

一、下载Solr4.10.2  我们以Windows版本为例,solr-4.10.2.zip是目前最新版本,下载地址:  http://www.apache.org/dyn/closer.cgi/lucene/solr/4.10.2  二、   Solr安装: 1、解压solr-4.10.2.zip 2、将 solr-4.10.2/example/webapps/solr.war

杜 911

Jcseg分词 介绍

今天给大家介绍一下 Jcseg 分词    首先我先来 让大家跑通一个程序然后大家在慢慢研究   步骤如下 1、da

芒果哥的专栏 5222

【apache solr系列】jcseg与pinyinTokenFilter实现中文缩写查找

结合jcseg以及pinyinTokenFilter实现搜索系统常见功能缩写搜索。

Jonathan.Wei的专栏 5185

商品搜索引擎---分词(插件介绍与入门实例)

最近刚好在学习搜索引擎分词,有了解一些分词插件,在这里给各位猿友分享一下。 本文主要介绍四个分词插件(ICTCLAS、IKAnalyzer、Ansj、Jcseg)和一种自己写算法实现的方式,以及一些词库的推荐。 一、ICTCLAS 1.1、介绍 中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上,研制出了汉语词法分析系统ICTCLAS(Institu...

waitu88的博客 840

Solr4 + Jcseg 数据导入

本文介绍如何从数据库将数据导入到Solr并且使用jcseg进行分词 在tomcat目录下,solr的配置文件目录:\tomcat\solr\collection1\conf (1)schema.xml query tit

fover717的专栏 1729

Spring3MVC 在JSP中使用@ModelAttribute--源自技术

在教程中,我们将创建一个简单的Spring3MVC simple CRUD应用程序.  什么是@ModelAttribute  Spring3关于@ModelAttribute的文档 (http://docs.spring.io/spring/docs/3.0.x/spring-framework-reference/html/mvc.html#mvc-ann-modelattrib)

MyJava_Dx的博客 5364
上一篇: Solr4 + Jcseg(分词器) 安装配置--源自技术
下一篇: JS重新发送倒计时--源自技术
MyJava_Dx
博客等级 码龄11年 1粉丝 32原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值