通过 Solr 取得分词

最新推荐文章于 2021-01-26 17:15:58 发布

SAN_YUN

最新推荐文章于 2021-01-26 17:15:58 发布

阅读量305

点赞数

CC 4.0 BY-SA版权

分类专栏： solr 文章标签： json

本文链接：https://blog.youkuaiyun.com/SAN_YUN/article/details/84230466

solr 专栏收录该内容

42 篇文章

订阅专栏

本文详细介绍了如何在Solr中集成并使用MMSeg4J进行中文分词，包括配置文件修改、分词接口使用以及解决搜索问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

原文：http://blog.chenlb.com/2010/08/get-solr-analysis-word.html

Solr 1.3 只有 AnalysisRequestHandler 处理器，只能提交文档来观察文档的分词结果。 Solr 1.4 有了对字段的分词。FieldAnalysisRequestHandler 可以对某个字段或字段类型的分词器对查询串取到分词数据。

用 solr 的默认配置，如 solr 1.4.1 。

我用 mmseg4j 为例。在 solr.root/example/solr/conf/schema.xml 的 types 元素内加：

    <fieldType name="text_cn" class="solr.TextField" positionIncrementGap="100">  
      <analyzer>  
        <tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory"/>  
      </analyzer>  
    </fieldType>

把 mmseg4j-all-1.8.2-with-dic.jar 放到 solr.home/example/solr/lib，没有 lib 目录，创建一个。更多关于 solr 中使用 mmseg4j 的内容请看：solr 中文分词 mmseg4j 使用例子。

如：“中国工商银行”
http://localhost:8983/solr/analysis/field?q=%E4%B8%AD%E5%9B%BD%E5%B7%A5%E5%95%86%E9%93%B6%E8%A1%8C&analysis.fieldtype=text_cn&indent=on&wt=json

    {  
     "responseHeader":{  
      "status":0,  
      "QTime":0},  
     "analysis":{  
      "field_types":{  
        "text_cn":{  
         "query":[  
          "com.chenlb.mmseg4j.analysis.MMSegTokenizer",[{  
             "text":"中国",  
             "type":"word",  
             "start":0,  
             "end":2,  
             "position":1},  
            {  
             "text":"工商",  
             "type":"word",  
             "start":2,  
             "end":4,  
             "position":2},  
            {  
             "text":"银行",  
             "type":"word",  
             "start":4,  
             "end":6,  
             "position":3}]]}},  
      "field_names":{}}}

就可以取得查询串的分词结果。

这个功能可以解决，如搜索“清华大学” 找不到 “清华大学” 文档的问题。这个问题的根本原因是 lucene / solr 使用的查询解析器生成的 Query 是短语查询。短语查询默认又是连续的词中没有其它字符。所以会找不到。

目前我知的方式大概有二种：

1、查询前分词一遍，把分出的词用空格分开，再去搜索（叫它为查询预处理）。查询前分词可以上面的接口。

2、扩展 solr query parser，返回 boolean query。

当然还有同学回复说指定短语的距离，如 "清华大学~100"，这个可以投机使用，不够可靠。