Lucene获取分词的内容

无花果有果

于 2022-05-28 22:27:41 发布

阅读量374

点赞数

分类专栏： Lucene笔记文章标签： lucene 全文检索搜索引擎

本文链接：https://blog.youkuaiyun.com/qq_29188567/article/details/125024392

版权

Lucene笔记专栏收录该内容

11 篇文章

订阅专栏

本文介绍如何使用Lucene API读取索引文件，并遍历其中的词条及其频率等信息。通过示例代码展示了如何打开指定路径的索引目录、获取索引读取器，以及遍历特定字段中的所有词条。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

FSDirectory directory = FSDirectory.open(new File("xxx"));
		IndexReader indexReader = DirectoryReader.open(directory);
		String[] fields = {"xxx"};
		for (int i = 0; i < fields.length; i++) {
			Terms ter = MultiFields.getTerms(indexReader, fields[i]);
			TermsEnum iterator = ter.iterator(TermsEnum.EMPTY);
			BytesRef bytesRef;
			while (ObjectUtil.isNotEmpty(bytesRef = iterator.next())) {
				String oneTermStr = new String(bytesRef.bytes, bytesRef.offset,
						bytesRef.length, Charset.forName("utf-8"));
//                System.out.println("term值："+oneTermStr+
//                        // document frequency:df，值越大，分值越小
//                        ",在"+iterator.docFreq()+"个文档中出现，"+
//                        // term  frequency:tf，值越大，分值越大
//                        ",在所有文档的name域中共出现"+indexReader.totalTermFreq(new Term("goodName",bytesRef))+"次"
//                );
				Map map = new HashMap();
				map.put("name", TermsValueEnum.convert(fields[i]));
				map.put("freq", iterator.docFreq());
				map.put("text", oneTermStr);
				map.put("totalTermFreq", indexReader.totalTermFreq(new Term(fields[i], bytesRef)));
			}
		}