Apache Solr 中文分词

最新推荐文章于 2020-06-30 13:50:26 发布
最新推荐文章于 2020-06-30 13:50:26 发布
阅读量1.4k 收藏
点赞数
分类专栏： Apache Solr
本文详细介绍了中文分词技术的重要性及其实现原理，探讨了多种开源中文分词工具的特点与应用场景，包括智呈分词、ICTCLAS、IKAnalyzer等，并以IKAnalyzer为例展示了如何在Solr中配置中文分词。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

中文分词 (Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。我们知道，在英文的行文中，单词之间是以空 格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这 一层上，中文比之英文要复杂的多、困难的多。
             存在中文分词技术是由于中文在基本文法上有其特殊性，具体表现在：
             1．与英文为代表的拉丁语系语言相比，英文以空格作为天然的分隔符，而中文由于继承自古代汉语的传统，词语之间没有分隔。　古代汉语中除了连绵词和人名地名等，词通常就是单个汉字，所以当时没有分词书写的必要。而现代汉语中双字或多字词居多，一个字不再等同于一个词。
             2．在中文里，“词”和“词组”边界模糊
             现代汉语的基本表达单元虽然为“词”，且以双字或者多字词居多，但由于人们认识水平的不同，对词和短语的边界很难去区分。
             例如：“对随地吐痰者给予处罚”，“随地吐痰者”本身是一个词还是一个短语，不同的人会有不同的标准，同样的“海上”“酒厂”等等，即使是同一个人也可能做出不同判断，如果汉语真的要分词书写，必然会出现混乱，难度很大。
             中文分词的方法其实不局限于中文应用，也被应用到英文处理，如手写识别，单词之间的空格就很清楚，中文分词方法可以帮助判别英文单词的边界。
           
           中文分词对于搜索引擎来说，最重要的并不是找到所有结果，因为在上百亿的网页中找到所有结果没有太多的意义，没有人能看得完，最重要的是把最相关的结果排 在最前面，这也称为相关度排序。中文分词的准确与否，常常直接影响到对搜索结果的相关度排序。从定性分析来说，搜索引擎的分词算法不同，词库的不同都会影 响页面的返回结果

            常见的开源中文分词技术主要有
         

智呈分词


　　功能性能
功能描述：
1.新词自动识别
对词典中不存在的词，可以自动识别，对词典的依赖较小；
2.词性输出
分词结果中带有丰富的词性；
3.动态词性输出
分词结果中的词性并非固定，会根据不同的语境，赋予不同的词性；
4.特殊词识别
比如化学、药品等行业词汇，地名、品牌、媒体名等；
5.智能歧义解决
根据内部规则，智能解决常见分词歧义问题；
6.多种编码识别
自动识别各种单一编码，并支持混合编码；
7.数词量词优化
自动识别数量词；
性能介绍：
处理器：AMD Athlon II x2 250 3GHZ
单线程大于833KB/s，多线程安全。

MFSOU中文分词PHP扩展

一个PHP函数实现中文分词。使分词更容易，使用如下图:
SCWS调用示例搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)

SCWS

Hightman 开发的一套基于词频词典的机械中文分词引擎，它能将一整段的汉字基本正确的切分成词。采用的是采集的词频词典，并辅以一定的专有名称，人名，地名，数字年 代等规则识别来达到基本分词，经小范围测试大概准确率在 90% ~ 95% 之间，已能基本满足一些小型搜索引擎、关键字提取等场合运用。45Kb左右的文本切词时间是0.026秒，大概是1.5MB文本/秒，支持PHP4和 PHP 5。

FudanNLP

FudanNLP主要是为中文 自然语言处理而开发的工具包，也包含为实现这些任务的 机器学习算法和数据集。本工具包及其包含数据集使用LGPL3.0许可证。开发语言为Java。功能包括中文分词等，不需要字典支持。

ICTCLAS

这 是最早的中文开源分词项目之一，ICTCLAS在国内973专家组组织的评测中活动获得了第一名，在第一届国际中文处理研究机构SigHan组织的评测中 都获得了多项第一名。ICTCLAS3.0分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到 3M.ICTCLAS全部采用C/C++编写，支持Linux、FreeBSD及Windows系列 操作系统，支持C/C++、C#、Delphi、Java等主流的开发语言。

HTTPCWS

HTTPCWS 是一款基于 HTTP协议的开源中文分词系统，目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0 2009共享版中文分词算法”的API进行分词处理，得出分词结果。HTTPCWS 将取代之前的 PHPCWS 中文分词扩展。

CC-CEDICT

一个中文词典开源项目，提供一份以汉语拼音为中文辅助的汉英辞典，截至2009年2月8日，已收录82712个单词。其词典可以用于中文分词使用，而且不存在版权问题。Chrome中文版就是使用的这个词典进行中文分词的。

IK

IKAnalyzer是一个开源的，基于 java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始， IKAnalyzer已经推出了3个大版本。最初，它是以开源项目Luence为应用主体的，结合词典分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件，独立于Lucene项目，同时提供了对Lucene的默认优化实现。

Paoding

Paoding（庖丁解牛分词）基于Java的开源中文分词组件，提供lucene和solr 接口，具有极  高效率和  高扩展性。引入隐喻，采用完全的 面向对象设计，构思先进。
高效率：在PIII 1G内存个人机器上， 1秒可准确分词  100万汉字。
采用基于  不限制个数的词典文件对文章进行有效切分，使能够将对词汇分类定义。
能够对未知的词汇进行合理解析。
仅支持 Java语言。

MMSEG4J

MMSEG4J基于Java的开源中文分词组件，提供lucene和solr 接口：
1．mmseg4j 用 Chih-Hao Tsai 的 MMSeg 算法实现的中文分词器，并实现 lucene 的 analyzer 和 solr 的TokenizerFactory 以方便在Lucene和Solr中使用。
2．MMSeg 算法有两种分词方法：Simple和Complex，都是基于正向最大匹配。Complex 加了四个规则过虑。官方说：词语的正确识别率达到了 98.41%。 mmseg4j 已经实现了这两种分词算法。

盘古分词

盘古分词是一个基于.net 平台的开源中文分词组件，提供lucene(.net 版本) 和HubbleDotNet的接口
高效：Core Duo 1.8 GHz 下单线程 分词速度为 390K 字符每秒
准确：盘古分词采用字典和统计结合的分词算法，分词准确率较高。
功能：盘古分词提供中文人名识别，简繁混合分词，多元分词，英文词根化，强制一元分词，词频优先分词， 停用词过滤，英文专名提取等一系列功能。

Jcseg

jcseg是使用Java开发的一个中文分词器，使用流行的mmseg算法实现。 [3]  
1。mmseg四种过滤算法，分词准确率达到了98.4%以上。
2。支持自定义词库。在lexicon文件夹下，可以随便添加/删除/更改词库和词库内容，并且对词库进行了分类，词库整合了《现代汉语词典》和cc-cedict辞典。
3。词条拼音和同义词支持，jcseg为所有词条标注了拼音，并且词条可以添加同义词集合，jcseg会自动将拼音和同义词加入到分词结果中。
4。中文数字和分数识别，例如："四五十个人都来了，三十分之一。"中的"四五十"和"三十分之一"，并且jcseg会自动将其转换为对应的阿拉伯数字。
5。支持中英混合词的识别。例如：B超，x射线。
6。支持基本单字单位的识别，例如2012年。
7。良好的英文支持，自动识别电子邮件，网址，分数，小数，百分数……。
8。智能圆角半角转换处理。
9。特殊字母识别：例如：Ⅰ，Ⅱ
10。特殊数字识别：例如：①，⑩
11。配对标点内容提取：例如：最好的Java书《java编程思想》，‘畅想杯黑客技术大赛’，被《,‘,“,『标点标记的内容。
12。智能中文人名识别。中文人名识别正确率达94%以上。
jcseg佩带了jcseg.properties配置文档，使用文本编辑器就可以自主的编辑其选项，配置适合不同应用场合的分词应用。例如：最大匹配分词数，是否开启中文人名识别，是否载入词条拼音，是否载入词条同义词……。

friso

friso是使用c语言开发的一个中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入到其他程序中，例如：MySQL，PHP等。并且提供了一个php中文分词扩展robbe。
1。只支持UTF-8编码。【源码无需修改就能在各种平台下编译使用，加载完20万的词条，内存占用稳定为14M。】。
2。mmseg四种过滤算法，分词准确率达到了98.41%。
3。支持自定义词库。在dict文件夹下，可以随便添加/删除/更改词库和词库词条，并且对词库进行了分类。
4。词库使用了friso的Java版本jcseg的简化词库。
5。支持中英混合词的识别。例如：c语言，IC卡。
7。很好的英文支持，电子邮件，网址，小数，分数，百分数。
8。支持阿拉伯数字基本单字单位的识别，例如2012年，5吨，120斤。
9。自动英文圆角/半角，大写/小写转换。
并且具有很高的分词速度：简单模式：3.7M/秒，复杂模式：1.8M/秒。

     Ok,上面说了这么多，下面阿堂以一个IKAnlyzer中文分词演示一下

      首先，我以solr自带的英文分词技术进行测试

    搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)

搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)

         通过上面阿堂的测试，很显然solr自带的分词type解析查询是不准确的，对中文词语分词不准确，句子中的每一个字都分成一个词了。

            E:\systemcondition\apache-tomcat-7.0.37\solr_home\solr\conf\schema.xml   （ text_general对应的type配置在schema.xml文件中）

          上面对应的 text_general具体描述如下

搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)


         然后，我在       E:\systemcondition\apache-tomcat-7.0.37\solr_home\solr\conf\schema.xml，文件中增加 fieldType=textik   (当然还要在sorl对应的web项目的 E:\systemcondition\apache-tomcat-7.0.37\webapps\solr\WEB-INF\lib 目录下，放置 IKAnalyzer.jar 包，我在上篇文章  基础篇:安装篇 中 已经提到了，这里就不重复了)
    
    搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)


    
      〈fieldType name="textik" class="solr.TextField" > 
      〈analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>   
        〈analyzer type="index">   
          〈tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>   
           〈filter class="solr.StopFilterFactory"   
                    ignoreCase="true" words="stopwords.txt"/>   
            〈filter class="solr.WordDelimiterFilterFactory"   
                    generateWordParts="1"   
                    generateNumberParts="1"   
                    catenateWords="1"   
                    catenateNumbers="1"   
                    catenateAll="0"   
                    splitOnCaseChange="1"/>   
            〈filter class="solr.LowerCaseFilterFactory"/>   
            〈filter class="solr.EnglishPorterFilterFactory"   
                protected="protwords.txt"/>   
            〈filter class="solr.RemoveDuplicatesTokenFilterFactory"/>   
        〈/analyzer>
        〈analyzer type="query">   
            〈tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>   
           〈!--
          〈filter class="solr.StopFilterFactory"   
                    ignoreCase="true" words="stopwords.txt"/>   
            〈filter class="solr.WordDelimiterFilterFactory"   
                    generateWordParts="1"   
                    generateNumberParts="1"   
                    catenateWords="1"   
                    catenateNumbers="1"   
                    catenateAll="0"   
                    splitOnCaseChange="1"/>
           〈filter class="solr.LowerCaseFilterFactory"/>   
            〈filter class="solr.EnglishPorterFilterFactory"   
                protected="protwords.txt"/>   
           〈filter class="solr.RemoveDuplicatesTokenFilterFactory"/>  --> 
        〈/analyzer>          
     〈/fieldType> 

                    然后，停掉tomcat后，再重启 tomcat,继续测试如下
                搜索引擎之阿堂Solr学习笔记系列2(基础篇:中文分词)

         
           从上述测试图中，我们不难看出，阿堂配置的中文分词IKAnalyzer已经完全起到作用了，已经符合我们中文分词的习惯了。 至此，中文分词 IKAnalyzer技术已经成功配置到solr服务器中了。

           如果你理解上述过程后，那么阿堂要恭喜你已经基本掌握使用中文分词技术的使用了。当然，其它开源的中文分词的使用与此完全类似，只是jar包不同，实现类不同罢了。
Apache Lucene全文检索和IKAnalyzer分词工具类
04-22
说明：依赖jar包：lucene-core-2.3.2.jar、IKAnalyzer3.2.8.jar。 一、LuceneUtil 工具类代码： package com.zcm.lucene; import java.io.File; import java.io.IOException; import java.io.StringReader; import java.util.ArrayList; import java.util.List; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.Term; import org.apache.lucene.queryParser.MultiFieldQueryParser; import org.apache.lucene.search.BooleanClause; import org.apache.lucene.search.Hits; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.wltea.analyzer.IKSegmentation; import org.wltea.analyzer.Lexeme; /** * Apache Lucene全文检索和IKAnalyzer分词工具类 * Company: 91注册码 * time:2014-04-22 * @author www.91zcm.com * @date * @version 1.1 */ public class LuceneUtil { /**索引创建的路径**/ private static String LucenePath = "d://index"; /** * 创建索引 * @throws Exception */ public static int createIndex(List list) throws Exception{ /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); /**注意最后一个boolean类型的参数：表示是否重新创建，true表示新创建（以前存在时回覆盖）**/ IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,true); for (int i = 0; i < list.size(); i++) { LuceneVO vo = (LuceneVO)list.get(i); Document doc = new Document(); Field FieldId = new Field("aid", String.valueOf(vo.getAid()),Field.Store.YES, Field.Index.NO); Field FieldTitle = new Field("title", vo.getTitle(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldRemark = new Field("remark", vo.getRemark(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); doc.add(FieldId); doc.add(FieldTitle); doc.add(FieldRemark); indexWriter.addDocument(doc); } /**查看IndexWriter里面有多少个索引**/ int num = indexWriter.docCount(); System.out.println("总共------》" + num); indexWriter.optimize(); indexWriter.close(); return num; } /** * IKAnalyzer分词 * @param word * @return * @throws IOException */ public static List tokenWord(String word) throws IOException{ List tokenArr = new ArrayList(); StringReader reader = new StringReader(word); /**当为true时，分词器进行最大词长切分**/ IKSegmentation ik = new IKSegmentation(reader, true); Lexeme lexeme = null; while ((lexeme = ik.next()) != null){ tokenArr.add(lexeme.getLexemeText()); } return tokenArr; } /** * 创建索引（单个） * @param list * @throws Exception */ public static void addIndex(LuceneVO vo) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer, false); /**增加document到索引去 **/ Document doc = new Document(); Field FieldId = new Field("aid", String.valueOf(vo.getAid()),Field.Store.YES, Field.Index.NO); Field FieldTitle = new Field("title", vo.getTitle(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldRemark = new Field("remark", vo.getRemark(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); doc.add(FieldId); doc.add(FieldTitle); doc.add(FieldRemark); indexWriter.addDocument(doc); /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 创建索引（多个） * @param list * @throws Exception */ public static void addIndexs(List list) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,false); /**增加document到索引去 **/ for (int i=0; i<list.size();i++){ LuceneVO vo = (LuceneVO)list.get(i); Document doc = new Document(); Field FieldId = new Field("aid", String.valueOf(vo.getAid()),Field.Store.YES, Field.Index.NO); Field FieldTitle = new Field("title", vo.getTitle(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldRemark = new Field("remark", vo.getRemark(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); doc.add(FieldId); doc.add(FieldTitle); doc.add(FieldRemark); indexWriter.addDocument(doc); } /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 更新索引（单个） * @param list * @throws Exception */ public static void updateIndex(LuceneVO vo) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,false); /**增加document到索引去 **/ Document doc = new Document(); Field FieldId = new Field("aid", String.valueOf(vo.getAid()),Field.Store.YES, Field.Index.NO); Field FieldTitle = new Field("title", vo.getTitle(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldRemark = new Field("remark", vo.getRemark(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); doc.add(FieldId); doc.add(FieldTitle); doc.add(FieldRemark); Term term = new Term("aid",String.valueOf(vo.getAid())); indexWriter.updateDocument(term, doc); /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 创建索引（多个） * @param list * @throws Exception */ public static void updateIndexs(List list) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,false); /**增加document到索引去 **/ for (int i=0; i<list.size();i++){ LuceneVO vo = (LuceneVO)list.get(i); Document doc = new Document(); Field FieldId = new Field("aid", String.valueOf(vo.getAid()),Field.Store.YES, Field.Index.NO); Field FieldTitle = new Field("title", vo.getTitle(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); Field FieldRemark = new Field("remark", vo.getRemark(), Field.Store.YES,Field.Index.TOKENIZED,Field.TermVector.WITH_POSITIONS_OFFSETS); doc.add(FieldId); doc.add(FieldTitle); doc.add(FieldRemark); Term term = new Term("aid",String.valueOf(vo.getAid())); indexWriter.updateDocument(term, doc); } /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 创建索引（单个） * @param list * @throws Exception */ public static void deleteIndex(LuceneVO vo) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,false); Term term = new Term("aid",String.valueOf(vo.getAid())); indexWriter.deleteDocuments(term); /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 创建索引（多个） * @param list * @throws Exception */ public static void deleteIndexs(List list) throws Exception { /**这里放索引文件的位置**/ File indexDir = new File(LucenePath); Analyzer luceneAnalyzer = new StandardAnalyzer(); IndexWriter indexWriter = new IndexWriter(indexDir, luceneAnalyzer,false); /**删除索引 **/ for (int i=0; i<list.size();i++){ LuceneVO vo = (LuceneVO)list.get(i); Term term = new Term("aid",String.valueOf(vo.getAid())); indexWriter.deleteDocuments(term); } /**optimize()方法是对索引进行优化 **/ indexWriter.optimize(); indexWriter.close(); } /** * 检索数据 * @param word * @return */ public static List search(String word) { List list = new ArrayList(); Hits hits = null; try { IndexSearcher searcher = new IndexSearcher(LucenePath); String[] queries = {word,word}; String[] fields = {"title", "remark"}; BooleanClause.Occur[] flags = {BooleanClause.Occur.SHOULD, BooleanClause.Occur.SHOULD}; Query query = MultiFieldQueryParser.parse(queries, fields, flags, new StandardAnalyzer()); if (searcher != null) { /**hits结果**/ hits = searcher.search(query); LuceneVO vo = null; for (int i = 0; i < hits.length(); i++) { Document doc = hits.doc(i); vo = new LuceneVO(); vo.setAid(Integer.parseInt(doc.get("aid"))); vo.setRemark(doc.get("remark")); vo.setTitle(doc.get("title")); list.add(vo); } } } catch (Exception ex) { ex.printStackTrace(); } return list; } } 二、Lucene用到的JavaBean代码： package com.zcm.lucene; /** * Apache Lucene全文检索用到的Bean * Company: 91注册码 * time:2014-04-22 * @author www.91zcm.com * @date * @version 1.1 */ public class LuceneVO { private Integer aid; /**文章ID**/ private String title; /**文章标题**/ private String remark; /**文章摘要**/ public Integer getAid() { return aid; } public void setAid(Integer aid) { this.aid = aid; } public String getTitle() { return title; } public void setTitle(String title) { this.title = title; } public String getRemark() { return remark; } public void setRemark(String remark) { this.remark = remark; } } 备注：源码来源于www.91zcm.com 开源博客中的全文检索代码。（http://www.91zcm.com/）
solr中文分词器
12-12
Solr中文分词器是针对Apache Solr全文检索引擎在处理中文文本时的不足而设计的一种解决方案。Solr默认的分词策略主要针对英文文本，它以空格为分隔符进行分词，而对于中文这种没有明显分隔符的语言，就需要特定的...
apache 中文分词工具
让梦想插上翅膀
06-08 151
http://www.chedong.com/tech/lucene.html
Apache Solr：全文搜索(技术拓展一)
LYQ2332826438的博客
08-22 568
Apache Solr：全文搜索 Apache Solr 初探 Solr简介 Solr 是一个开源的全文搜索服务器，已经在众多大型的网站中使用，较为成熟和稳定。 Solr 使用 Java 语言开发，基于 Apache Lucene 实现，对Lucene进行了扩展，提供了比Lucene更为丰富的查询语言，同时提高了可配置、可扩展性，并对查询性能进行了优化，而且提供了一个完善的功能管理界面。So...
Apache Lucene(全文检索引擎)—分词器
u012153741的专栏
03-23 371
目录 　　1. Apache Lucene(全文检索引擎)—创建索引：http://www.cnblogs.com/hanyinglong/p/5387816.html 　　2. Apache Lucene(全文检索引擎)—搜索:http://www.cnblogs.com/hanyinglong/p/5391269.html 　　3. Apache Lucene(全文检索引擎)—分
Apache Solr单机环境配置（包括中文分词和Java API的使用）
小爷，有点狂
02-01 3105
一、使用场景说明 项目中需要实现一个地址查询框，类似于在谷歌地图中输入地址，根据定义的规则实时检索并展现匹配的地址的功能（当然比那简单的多），为了减小数据库压力和提高检索效率，现采用apache solr实现。由于对性能和可靠性可用性等没太高的要求，所以此处没有考虑集群，只是一个简单的单机版环境。 二、概念介绍   三、安装启动和中文分词配置 1、下载solr-4.10.2.zip，解压
Apache Solr（solr-8.11.1.zip）
01-10
7. **分析链**：Solr的分析链允许用户自定义输入数据的预处理过程，如分词、标准化和过滤，这在处理不同语言和文本格式时非常有用。 8. **搜索性能优化**：Solr提供了多种优化手段，包括使用倒排索引、缓存策略、...
solr ik分词器
10-24
Solr是中国最流行的开源搜索引擎平台之一，而IK Analyzer是一款针对中文的高性能分词器，尤其在处理现代汉语的复杂情况时表现出色。本教程将详细解释如何在Solr中安装和使用IK分词器。 首先，让我们理解一下什么是...
solr中文分词高版本
08-29
"solr中文分词高版本"的标题表明我们在这里讨论的是适用于Solr 6.5及以上版本的中文分词解决方案，因为默认的Solr分词器可能不支持这些较高版本，或者在使用过程中会出现问题。 描述中提到的“网上提供的solr中文...
Apache Lucene几种分词系统
贾世鑫的博客
06-30 514
1、 StopAnalyzer StopAnalyzer能过滤词汇中的特定字符串和词汇，并且完成大写转小写的功能。 2、 StandardAnalyzer StandardAnalyzer根据空格和符号来完成分词，还可以完成数字、字母、E-mail地址、IP地址以及中文字符的分析处理，还可以支持过滤词表，用来代替StopAnalyzer能够实现的过滤功能。 3、 SimpleAnalyzer SimpleAnalyzer具备基本西文字符词汇分析的分词器，处理词汇单元时，以非字母字符作为分割符号。分
search_api_solr_nlp
04-11
搜索API Solr NLP
solr中文分词
07-06 523
solr是国外的人做的一个提供关键字搜索的一个功能，所以对中文不支持，于是国人就自己做了一个IKAnalyzer，但是Ik分词也不一定能分到自己想要的词，也就是说词库里面的组词不一定是符合自己的词，但是他们留了后门，可以自己管理词库的，操作步骤如下： 1.下载Ik包 IK Analyzer2012FF ，可以看出这个包已经很久没有出新版本了 2.在schema.xml文件中添加IK分词。sch
solr5.5 +庖丁解牛2.0.4
weixin_30275415的博客
05-03 105
solr5.5 +庖丁解牛2.0.4 首先在官网下在庖丁paoding-analysis-2.0.4-beta 1.把paoding-analysis-2.0.4-beta中的dic文件夹考到solr的home文件夹中 2.进入paoding-analysis-2.0.4-beta找到paoding-analysis.jar，将其拷到tom...
solr 中文精确搜索
myq526180048的博客
06-28 532
1、配置   schema.xml配置文件的types节点下加入：   &lt;fieldType name="text_exact" class="solr.TextField" positionIncrementGap="100"&gt;         &lt;analyzer type="index"&gt;              &lt;tokenizer class=&qu
Solr 7 - 中文分词、数据导入、查询 基本使用篇
Right! I'm Max Sky.
01-23 1724
接着之前的 Solr 7 - CentOS 部署篇 继续 Go！ 准备一下 /opt/solr-7.6.0 实际安装目录 /opt/solr 指向实际安装目录的链接 我们先链接一份 solr 命令到 /usr/local/bin 内 ln -s /opt/solr/bin/solr /usr/local/bin/solr 现在我们就能在任何地方使用 solr 命令了 创建 Core 上一篇提到过...
Apache Solr 4.9上配置IKAnalyzer中文分词插件
阿坨的博客
05-15 495
文章目录solr的介绍及其安装下载IKAnalyzer安装并配置IKAnalyzer记两个bug solr的介绍及其安装 一句话概括：solr是基于Lucene的Java搜索引擎服务器，其部署要搭配tomcat Solr的介绍及其安装详见：什么是Solr,它能为我们解决什么问题,怎么用? Apache Solr 4.9.0下载：https://pan.baidu.com/s/1Ld1dzt2FQ_xAyom8Yd8ppQ 提取码：tnn2 下载IKAnalyzer 下载IKAnalyzer可以到这个地址
OpenNLP integrate with solr
术业有专攻
11-07 324
https://wiki.apache.org/solr/OpenNLP
Solr系列二：Solr与mmseg4j的整合
weixin_33725515的博客
04-25 88
mmseg4j是一个很好的中文分词器，solr与mmseg4j的整合也非常简单。如下： 第一步：下载mmseg4j的jar包，网上搜索一下有很多下载地址，如下是csdn上的一个连接：http://download.youkuaiyun.com/detail/nrs12345/6986585 第二步：将下载的mmseg4j-analysis-1.9.1.jar、mmseg4j-core-1.9.1.jar、...
深入解析Solr中文分词器的技术要点
Solr中文分词器是Apache Solr搜索引擎的重要组件之一，它主要负责将中文文本内容拆分成单独的词语以便于索引和搜索。由于中文文本中词语与词语之间通常没有明显分隔符，如英文中的空格，因此中文分词对于中文搜索...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值