lucene中Field.Index,Field.Store详解

最新推荐文章于 2020-03-10 10:58:37 发布
最新推荐文章于 2020-03-10 10:58:37 发布
阅读量450 收藏
点赞数 1
本文详细介绍了Lucene中不同字段的索引与存储策略，包括如何选择合适的配置以满足搜索需求，如分词、不分词、存储与否等，并通过实例解释了各种配置的应用场景。

lucene在doc.add(new Field("content",curArt.getContent(),Field.Store.NO,Field.Index.TOKENIZED));

Field有两个属性可选：存储和索引。

通过存储属性你可以控制是否对这个Field进行存储；

通过索引属性你可以控制是否对该Field进行索引。

事实上对这两个属性的正确组合很重要。

Field.IndexField.Store说明
TOKENIZED(分词)YES被分词索引且存储
TOKENIZEDNO被分词索引但不存储
NOYES这是不能被搜索的，它只是被搜索内容的附属物。如URL等
UN_TOKENIZEDYES/NO不被分词，它作为一个整体被搜索,搜一部分是搜不出来的
NONO没有这种用法


我们那文章表为例.articleinfo.有ID,title(标题),sumary(摘要),content(内容),userName(用户名)

其中title(标题),sumary(摘要)属于第一种情况,既要索引也要分词,也要存储.

content(内容)要分词,索引,但不存储.由于他太大了,而且界面也不用显示整个内容.

ID要存储,不用索引.因为没人用他来查询.但拼URL却很需要他.索引要存储.

userName(用户名)索引,但不分词.可用保存.为什么不分词?比如"成吉思汗",我不想被"成汉"搜索到.我希望要么"成吉思汗"或者"*吉思*"通配符搜到.

总结如下:

1.如果要对某Field进行查找，那么一定要把Field.Index设置为TOKENIZED或UN_TOKENIZED。TOKENIZED会对Field的内容进行分词；而UN_TOKENIZED不会，只有全词匹配，该Field才会被选中。
2.如果Field.Store是No，那么就无法在搜索结果中从索引数据直接提取该域的值，会使null。

补充:

Field.Store.YES:存储字段值（未分词前的字段值）
Field.Store.NO:不存储,存储与索引没有关系
Field.Store.COMPRESS:压缩存储,用于长文本或二进制，但性能受损

Field.Index.ANALYZED:分词建索引
Field.Index.ANALYZED_NO_NORMS:分词建索引，但是Field的值不像通常那样被保存，而是只取一个byte，这样节约存储空间
Field.Index.NOT_ANALYZED:不分词且索引
Field.Index.NOT_ANALYZED_NO_NORMS:不分词建索引，Field的值去一个byte保存

TermVector表示文档的条目（由一个Document和Field定位）和它们在当前文档中所出现的次数
Field.TermVector.YES:为每个文档（Document）存储该字段的TermVector
Field.TermVector.NO:不存储TermVector
Field.TermVector.WITH_POSITIONS:存储位置
Field.TermVector.WITH_OFFSETS:存储偏移量
Field.TermVector.WITH_POSITIONS_OFFSETS:存储位置和偏移量

iteye_4388
关注
Apache Lucene 详解及示例
微笑听雨
07-15 1020
Apache Lucene 是一个功能强大的搜索引擎库，通过灵活的配置和优化，可以处理各种复杂的搜索需求。以上示例展示了如何创建、查询、更新和删除索引，以及如何优化 Lucene 的性能。
Lucene中DocValues 和 Stored Fields 的用法
zfj321的博客
01-27 809
doc2: {title: "笔记本", content: "高性能笔记本电脑", price: 5999, date: "2023-10-02"}doc1: {title: "手机", content: "这是一款智能手机", price: 2999, date: "2023-10-01"}在某些场景下，可以同时使用两者，例如：存储字段用于展示，DocValues 用于排序。每个字段的所有文档值存储在一起，适合快速访问某个字段的所有值。排序、聚合和分组操作效率高，因为数据按列存储，适合批量处理。
lucene-Field.Store解析
02-29 172
本文主要内容装载这里 Store 三种形态 COMPRESS:压缩保存。用于长文本或二进制数据 (后期高版本舍弃了) YES：保存 NO：不保存 具体案例 package demo.first; import java.io.IOException; import org.apache.lucene.ana...
Lucene Field.Store解析
惟楚有才
09-17 826
Store       COMPRESS:压缩保存。用于长文本或二进制数据       YES：保存       NO：不保存 // 获取新闻的Id，Title，ShortDescription, Tags构建Document var doc = new Document(); doc.Add(new Field("BoothId", boothItem.Id.ToString(),
lucene--Field.Store解析
xiaozhu0301的博客
06-03 543
Store        COMPRESS:压缩保存。用于长文本或二进制数据        YES：保存        NO：不保存  具体理解当然是给出示例了：  Java代码   package demo.first;      import java.io.IOException;      import org.apache.lucene.ana
lucene第一步---4.Field.Store解析
llying
09-23 298
lucene第一步---4.Field.Store解析 Store COMPRESS:压缩保存。用于长文本或二进制数据 YES：保存 NO：不保存 具体理解当然是给出示例了： [code="java"] package demo.first; import java.io.IOException; import org.apache...
Lucene.Net索引的建立
寒色博客
07-28 5505
在建立索引前，先了解下lucene中的一些与索引相关的重要类。为了对文档进行索引，Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途：DocumentDocument 是用来描述文档的，这里的文档可以指一个 HTML 页面，一封电子邮件，或者是一个文本文件。
package com.boe.cim.teacher.luence; import java.nio.file.Paths; import java.util.List; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.IntField; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.Term; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import com.boe.cim.teacher.pojo.RequirementInfo; /** * @author hyh * @description 创建文档索引 */ public class LuceneIndexRequirement { private Directory dir; /** *实例化indexerWriter * @return * @throws Exception */ private IndexWriter getWriter()throws Exception{ //中文分词器 SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer(); IndexWriterConfig iwc=new IndexWriterConfig(analyzer); IndexWriter writer=new IndexWriter(dir, iwc); return writer; } /** * 获取indexreDir * @param indexreDir * @throws Exception */ // public void index(String indexreDir, List<RequirementInfo> listRequirement) throws Exception { // dir = FSDirectory.open(Paths.get(indexreDir)); // IndexWriterConfig iwc = new IndexWriterConfig(new SmartChineseAnalyzer()); // iwc.setOpenMode(IndexWriterConfig.OpenMode.CREATE_OR_APPEND); // 明确指定打开模式 // try (IndexWriter writer = new IndexWriter(dir, iwc)) { // for (RequirementInfo requirement : listRequirement) { // Document doc = new Document(); // doc.add(new StringField("id", String.valueOf(requirement.getId()), Field.Store.YES)); // doc.add(new StringField("requirement", requirement.getRequirement(), Field.Store.YES)); // doc.add(new StringField("department", requirement.getDepartment(), Field.Store.YES)); // doc.add(new StringField("liaisonman", requirement.getLiaisonman(), Field.Store.YES)); // doc.add(new StringField("requirementtype", Integer.toString(requirement.getRequirementtype()), Field.Store.YES)); // doc.add(new TextField("requirementbackground", requirement.getRequirementbackground(), Field.Store.YES)); // doc.add(new TextField("requirementcontents", requirement.getRequirementcontents(), Field.Store.YES)); // writer.updateDocument(new Term("id", String.valueOf(requirement.getId())), doc); // } // } // } public void index(String indexreDir,List<RequirementInfo> listRequirement)throws Exception{ dir=FSDirectory.open(Paths.get(indexreDir)); IndexWriter writer=getWriter(); writer.commit(); for(int i=0;i<listRequirement.size();i++){ Document doc=new Document(); RequirementInfo requirement = listRequirement.get(i); //StringField 只索引不分词 doc.add(new StringField("id",String.valueOf(requirement.getId()), Field.Store.YES)); doc.add(new StringField("requirement", requirement.getRequirement(), Field.Store.YES)); doc.add(new StringField("department",requirement.getDepartment(),Field.Store.YES)); doc.add(new StringField("liaisonman", requirement.getLiaisonman(), Field.Store.YES)); doc.add(new StringField("requirementtype", Integer.toString(requirement.getRequirementtype()), Field.Store.YES)); doc.add(new StringField("technicalfield", requirement.getTechnicalfield(), Field.Store.YES)); doc.add(new TextField("requirementbackground", requirement.getRequirementbackground(), Field.Store.YES)); doc.add(new TextField("requirementcontents", requirement.getRequirementcontents(), Field.Store.YES)); // doc.add(new StringField("requirementtype", Integer.toString(requirement.getRequirementtype()), Field.Store.YES)); // doc.add(new TextField("requirementbackground", requirement.getRequirementbackground(), Field.Store.YES)); // doc.add(new TextField("requirementcontents", requirement.getRequirementcontents(), Field.Store.YES)); // writer.deleteDocuments(new Term("id",String.valueOf(teacher.getId()))); writer.updateDocument(new Term("id",String.valueOf(requirement.getId())), doc); } writer.close(); } // public void indexSingleRequirement(String indexreDir, RequirementInfo requirement) throws Exception { // dir = FSDirectory.open(Paths.get(indexreDir)); // try (IndexWriter writer = getWriter()) { // Document doc = new Document(); // doc.add(new StringField("id",String.valueOf(requirement.getId()), Field.Store.YES)); // doc.add(new StringField("requirement", requirement.getRequirement(), Field.Store.YES)); // doc.add(new StringField("department",requirement.getDepartment(),Field.Store.YES)); // doc.add(new StringField("liaisonman", requirement.getLiaisonman(), Field.Store.YES)); // doc.add(new StringField("requirementtype", Integer.toString(requirement.getRequirementtype()), Field.Store.YES)); // doc.add(new StringField("technicalfield", requirement.getTechnicalfield(), Field.Store.YES)); // doc.add(new TextField("requirementbackground", requirement.getRequirementbackground(), Field.Store.YES)); // doc.add(new TextField("requirementcontents", requirement.getRequirementcontents(), Field.Store.YES)); // // 添加其他字段... // writer.updateDocument(new Term("id", String.valueOf(requirement.getId())), doc); // } // try-with-resources 自动关闭writer // } } package com.boe.cim.teacher.luence; import java.util.List; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.beans.factory.annotation.Value; import org.springframework.boot.ApplicationArguments; import org.springframework.boot.ApplicationRunner; import org.springframework.core.annotation.Order; import org.springframework.retry.annotation.Backoff; import org.springframework.retry.annotation.Recover; import org.springframework.retry.annotation.Retryable; import org.springframework.stereotype.Component; import com.boe.cim.teacher.dao.TeacherInfoMapper; import com.boe.cim.teacher.pojo.TeacherInfo; import com.boe.cim.teacher.dao.RequirementInfoMapper; import com.boe.cim.teacher.pojo.RequirementInfo; import com.boe.cim.teacher.utils.FileOperationFunction; import lombok.extern.slf4j.Slf4j; @Slf4j @Component @Order(value=5) public class StartApplicationWithLuceneIndex implements ApplicationRunner{ @Value("${lucene.index.dir}") private String IndexDir; @Autowired private TeacherInfoMapper teacherInfoMapper; @Value("${lucenere.indexre.dir}") private String IndexreDir; @Autowired private RequirementInfoMapper requirementInfoMapper; @Override @Retryable(value= Exception.class,backoff=@Backoff(delay=2000)) //重试机制，默认重试三次，失败程序启动失败，Main函数run，异常直接捕获不了，因为被aop捕获了 public void run(ApplicationArguments args) { // TODO Auto-generated method stub FileOperationFunction.deleteFileFromPath(IndexDir); //有个文件权限太高，删不掉 log.info("生成教师索引文件ing..."); List<TeacherInfo> listTeacher = teacherInfoMapper.userTeacherInfoCreateLuceneIndex(); try { new LuceneIndex().index(IndexDir,listTeacher); } catch (Exception e) { // TODO Auto-generated catch block } log.info("生成教师索引文件成功,End"); // TODO Auto-generated method stub FileOperationFunction.deleteFileFromPath(IndexreDir); //有个文件权限太高，删不掉 log.info("生成需求索引文件ing..."); List<RequirementInfo> listRequirement = requirementInfoMapper.RequirementInfoCreateLuceneIndex(); try { new LuceneIndexRequirement().index(IndexreDir,listRequirement); } catch (Exception e) { // TODO Auto-generated catch block } log.info("生成需求索引文件成功,End"); } @Recover//重试多次皆失败回调方法 public void retryRecover(Exception e) { log.error("重试三次生成信息索引文件失败..."); log.error(e.getMessage()); } } 生成的是_0.fdt、_0.fdx
最新发布
09-04
当使用Lucene索引文档时，如果配置了字段存储（`Field.Store.YES`），Lucene会将字段值保存到存储域中。例如： ```java Document doc = new Document(); doc.add(new TextField("content", "Hello Lucene", Field....
lucene对doc.xlsx操作包
04-14
import org.apache.lucene.index.IndexWriter; import org.apache.lucene.store.Directory; //... 初始化Directory和IndexWriter try (InputStream is = new FileInputStream("path_to_your_file.docx")) { ...
【ASP.NET编程知识】详解Spring Boot 中使用 Java API 调用 lucene.docx
05-21
Spring Boot 中使用 Java API 调用 Lucene 实现全文检索 Lucene 是 Apache 软件基金会下的一个子项目，是一个开放源代码的全文检索引擎工具包。它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了...
（二）Lucene中Field.Store.YES或者NO
goldmei一枝梅的专栏
11-18 4630
Field.Store.YES或者NO（存储域选项）          YES:表示会把这个域中的内容完全存储到文件中，方便进行还原[对于主键，标题可以是这种方式存储]          NO:表示把这个域的内容不存储到文件中，但是可以被索引，此时内容无法完全还原（doc.get()）[对于内容而言，没有必要进行存储，可以设置为No] Field.Store.YES：将文件的全名存储到索
Lucene-Field.Store的Field.Index属性笔记
海涛高软
03-10 338
Lucene-Field.Store的Field.Index属性笔记
Field.Index、 Field.Store解释、BooleanQuery查询
老明
08-19 245
[size=large] 由于lucene版本间兼容性特别的坑..,这里就不再对Field.Index、 Field.Store做详细的解释[luncen 版本不同，Field.Index、 Field.Store属性也是不同的；以该版本的API为准] 网上摘超例子，可以更好的有助你理解。 例子如下： 我们以文章表为例.articleinfo. 有ID,title(标题),sumar...
Lucene Field.Stror Field.Index
吴兴亚的专栏
01-23 467
从Lucene的源代码中，可以看出Field 典型构造函数如下： Field(String name, String value, Field.Store store, Field.Index index) 其中： Field.Index有四种属性，分别是： Field.Index.TOKENIZED：分词索引 Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，
Lucene笔记03-Lucene索引创建域选项
王劭阳的博客
10-15 279
一、域存储选项（Field.Store.*） Field.Store.YES：将会存储域值，原始字符串的值将会保存在索引中，可以进行恢复操作，对于主键和标题，可以采用这种方式存储。 Field.Store.NO：不会存储域值，通常与Index.ANALYZED合起来使用，索引一些如文章正文等不需要恢复的文档。 二、域索引选项（Field.Index.*） Field.Index.ANALY...
搜索引擎 lucene2 关于Field类中的内部类Store和Index的理解
wangxu_xuxu的专栏
08-29 920
在Lucene2.0中是通过两个内部类Field.Index,Field.Store的组合来区分Field的具体类型.具体如下:  Field.Store.COMPRESS:压缩保存,用于长文本或二进制数据  Field.Store.YES:保存，用户需要显示该Field值。 Field.Store.NO:不保存 ，用户不需要显示该Field值。 Field.Index.NO:
Lucene---全文检索(问题分析)
dxsksk的专栏
12-03 497
  创建索引时处理:   一,是否要被分词 1,Field.Index.ANALYZED:所传字段会被分词,会根据分词后进行查找 2,Field.Index.NOT_ANALYZED:所传字段不会被分词,会根据(原值)进行查找 3,Field.Index.NO:不参与分词,也不参与查找   二,是否被持久化保存在文件中 1,Field.Store.YES:索引时会被持久化,查找时...
lucene中field构造方法中的参数含义
wangfeng8720的专栏
09-19 755
          Field.Store.COMPRESS:压缩保存,用于长文本或二进制数据           Field.Store.YES:保存          Field.Store.NO:不保存                    Field.Index.NO:不建立索引           Field.Index.TOKENIZED:分词,建索引          Field.I
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值