lucene-词干分析与保留空位和停用词

1、分析器可以剔除所有停用词，并将这些词本来所处的位置留空，还可以对词干过滤器进行选择

2、移除停用词

public class PositionStopFilter extends TokenFilter{

private Set stopWords;

publicPositioinStopFilter(TokenSteam in,Set stpWords){

super(in);

this.stopWords=stopWords;

}

 

public final Token next()throws IOException{

int increment=0;

for(Token token=input.next();token!=null;token=input.next()){

if (!stopWords.contains(token.termText())){

token.getPositionIncrement()+increment;

return token;

}

increment++;

}

return null;
}

3、自己定义的分析器

public class PositionalPorterStopAnalyer extends Analyer{

private Set stopWords;

publicPositionalPortStopAnalyer(){

this(StopAnalyzer.ENGLISH_STOP_WORDS);

}

publicPositionalPortStopAnalyzer(String[] stopList){

stopWords=stopFilter.makeStopset(stopList);

}

//下面的代码使用了词干还原PorterStemFilter

public TokenStreamtokenStream(String fieldName,Reader reader){

return new PorterStemFilter(

new PositionalStopFilter{

new LowerCaseTokenizer(reader),stopwords));

}

)

}

}

4、使用PharseQuery允许查询的短语有空缺，但是必须使用setPhraseSlop(n)进行设置，将空缺设置为n，空缺一般是停用词造成的。