1.5.4 什么是Filter--过滤器

最新推荐文章于 2022-03-03 07:46:06 发布

weixin_30740581

最新推荐文章于 2022-03-03 07:46:06 发布

阅读量48

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/a198720/p/4302557.html

本文介绍了Lucene中的过滤器(filter)概念及其工作原理。过滤器消耗输入并产生token流，通常用于简化或修改由分词器产生的token。文章还通过Solr配置示例展示了如何使用多种过滤器进行文本分析。

什么是Filter--过滤器

　　像分词器(tokenizer)一样,过滤器(filter)消耗输入,产生token流.过滤器同样从org.apache.lucene.analysis.TokenStream中产生.和tokenizer不同的是,filter的输入是一个Tokenizer.filter的工作一般都比tokenizer简单,因为在大多数情况下,filters查看每一个stream中token的顺序,并决定是否传递,替换,或者废弃它.

　　filter还可以提前做出更复杂的分析,一次考虑多个token.虽然这是不常见的.一个假设的对于这种filter的使用就是规范化名字的状态,需要分成2个单词. 例如,这单独的token "california" 可以使用"CA"来替换,然而token "rhode" 以及接着的"island" 可能会变成"RI".

　　因为filters消耗了一个TokenStream,生成了一个TokenStream.

<fieldType name="text" class="solr.TextField">
    <analyzer>
        <tokenizer class="solr.StandardTokenizerFactory" />
        <filter class="solr.StandardFilterFactory" />
        <filter class="solr.LowerCaseFilterFactory" />
        <filter class="solr.EnglishPorterFilterFactory" />
    </analyzer>
</fieldType>