本文介绍了一种通过分析器获取文本中词汇单元位置的方法。利用增量位置计算实际位置，并展示了如何输出每个词汇单元的详细信息，例如术语文本、开始偏移量、结束偏移量及类型。以thequickbrown为例，使用同义词分析器，可以得到1:[quick][speedy][fast] 2:[brown]这样的输出。
以下程序显示出了语汇单元的位置，
Token[] tokens=tokensFromAnalysis(analyzer,text);
int position =0;
for (int i=0;i<tokens.length;i++){
Token token=tokens[i];
intincrement=token.getPositionIncrement();//得到当前语汇单元增量位置，增量位置是指本单词与上一个单词的间隙，如果中间空有单词（如停用词），则间隙包括停用词。
if (increment>0){
position=position+increment;//由增量位置得到当前语汇单元的实际位置
System.out.println();
System.out.print(position+":");
}
System.out.print("["+token.termText()+":"+token.startoffset()
+"- >"+token.endoffset()+":"+token.type()+"]");
}
}
如"the quick brown"使用同义词分析器，则显示的结果是
1:[quick][speedy][fast]
2:[brown]
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
