lucene new Filed()字段属性说明

最新推荐文章于 2025-05-01 21:35:31 发布
原创 最新推荐文章于 2025-05-01 21:35:31 发布 · 599 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了Lucene中Field的配置选项，包括Index、Store、TermVector等属性的作用及使用场景，帮助理解如何针对不同需求合理配置Field。

1.如果要对某Field进行查找，那么一定要把Field.Index设置为ANALYZED或ANALYZED_NO_NORMS。ANALYZED会对Field的内容进行分词；而NOT_ANALYZED不会，只有全词匹配，该Field才会被选中。 

2.如果Field.Store是No，那么就无法在搜索结果中从索引数据直接提取该域的值，取得值为NULL。 如果需要提取该字段的值，需设置为YES

补充: 

       Field.Store.YES:存储字段值（未分词前的字段值），可以取得该字段的存储的值
       Field.Store.NO:不存储,存储与索引没有关系，那么查询出来的结果会是NULL
       Field.Store.COMPRESS:压缩存储,用于长文本或二进制，但性能受损 

       Field.Index.ANALYZED:分词建索引 ，分词匹配
       Field.Index.ANALYZED_NO_NORMS:分词建索引，但是Field的值不像通常那样被保存，而是只取一个byte，这样节约存储空间 
       Field.Index.NOT_ANALYZED:不分词且索引 ，全字匹配
       Field.Index.NOT_ANALYZED_NO_NORMS:不分词建索引，Field的值去一个byte保存 

       TermVector    表示文档的条目（由一个Document和Field定位）和它们在当前文档中所出现的次数 
       Field.TermVector.YES:为每个文档（Document）存储该字段的TermVector 
       Field.TermVector.NO:不存储TermVector 存储空间占用最小，节省内存空间
       Field.TermVector.WITH_POSITIONS:存储位置 
       Field.TermVector.WITH_OFFSETS:存储偏移量 
       Field.TermVector.WITH_POSITIONS_OFFSETS:存储位置和偏移量
【Elasticsearch】es fielddata 字段数据
九师兄
11-02 2000
在es中，text类型的字段使用一种叫做fielddata的查询时内存数据结构。当字段被排序，聚合或者通过脚本访问时这种数据结构会被创建。它是通过从磁盘读取每个段的整个反向索引来构建的，然后存存储在java的堆内存中。Fielddata针对text字段在默认时是禁用的，Fielddata会占用大量堆空间，尤其是在加载大量的文本字段时。一旦将字段数据加载到堆中，它在该段的生命周期内将一直保留在那里。同样，加载字段数据是一个昂贵的过程，可能导致用户遇到延迟的情况。这就是默认情况下禁用字段数据的原因。
Lucene教程详解
热门推荐
曹胜欢
09-26 7万+
注明：本文是由本人在开发有关基于lucene资源检索系统时的一点总结，其中一部分是自己根据开发过程自己总结的，也有部分是摘自网络，因无法获取当时摘文的地址，所以在此没有写源地址。 转载请声明出处   Lucene-3.0.0配置 一、Lucene开发环境配置   step1.Lucene开发包下载   step2.Java开发环境配置   step3.Tomca
搜索引擎 lucene2 关于Field类中的内部类Store和Index的理解
wangxu_xuxu的专栏
08-29 944
在Lucene2.0中是通过两个内部类Field.Index,Field.Store的组合来区分Field的具体类型.具体如下:  Field.Store.COMPRESS:压缩保存,用于长文本或二进制数据  Field.Store.YES:保存，用户需要显示该Field值。 Field.Store.NO:不保存 ，用户不需要显示该Field值。 Field.Index.NO:
Lucene笔记03-Lucene索引创建域选项
王劭阳的博客
10-15 286
一、域存储选项（Field.Store.*） Field.Store.YES：将会存储域值，原始字符串的值将会保存在索引中，可以进行恢复操作，对于主键和标题，可以采用这种方式存储。 Field.Store.NO：不会存储域值，通常与Index.ANALYZED合起来使用，索引一些如文章正文等不需要恢复的文档。 二、域索引选项（Field.Index.*） Field.Index.ANALY...
Lucene---全文检索(问题分析)
dxsksk的专栏
12-03 508
  创建索引时处理:   一,是否要被分词 1,Field.Index.ANALYZED:所传字段会被分词,会根据分词后进行查找 2,Field.Index.NOT_ANALYZED:所传字段不会被分词,会根据(原值)进行查找 3,Field.Index.NO:不参与分词,也不参与查找   二,是否被持久化保存在文件中 1,Field.Store.YES:索引时会被持久化,查找时...
LUCENE Field字段类型的意义
King的专栏
04-15 252
很多看LUCENE IN ACTION的人，开始写代码最容易遇到的问题就是Field.Keyword Field.UnIndexed Field.UnStored Field.Text……都没了 因为那LUCENE高版本提供的已经有很大区别Field类已经没那些玩意，最近问的人多了，我就把我常用的个简单的转译函数贴这给大家参考 FieldType是个自定义的emnu类型 替代原有的Field.Ke...
Lucene-2.2.0 源代码阅读学习(3)
cool_rain_man的专栏
04-01 1125
org.apache.lucene.demo.IndexFiles类中，使用递归的方式去索引文件。在构造了一个IndexWriter索引器之后，就可以向索引器中添加Doucument了，执行真正地建立索引的过程。遍历每个目录，因为每个目录中可能还存在目录，进行深度遍历，采用递归技术找到处于叶节点处的文件(普通的具有扩展名的文件，比如my.txt文件)，然后调用如下代码中红色部分：static
全文检索 Lucene
weixin_35994859的博客
02-04 936
全文检索 Lucene 网上学习黑马课程后，在原有笔记的基础上进行总结 课程计划 lucene入门 什么是lucene Lucene的作用 使用场景 优点和缺点 lucene应用 索引流程 搜索流程 field域的使用 索引库维护 分词器 高级搜索实战案例 Lucene高级 Lucene底层存储结构 词典排序算法 Lucene优化 Lucene使用的一些注意事项 1 搜索技术理论基础 1.1 为什么要学习Lucene ​ 原来的方式实现搜索功能，我们的搜索流程如下图： ​ 上
Lucene.Net+盘古分词器(详细介绍)
我是菜鸟
10-11 942
Lucene.net是Lucene的.net移植版本，是一个开源的全文检索引擎开发包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎。开发人员可以基于Lucene.net实现全文检索的功能。
全文检索技术Lucene
萌萌的PP博客
11-02 3874
一. Lucene 简介 1. Lucene 是什么 Lucene 是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。说到底它是一个信息检索程序库，而不是应用产品。因此它并不像百度或者 google 那样，拿来就能用，它只是提供了一种工具让你能实现这些产品。 2 . Lucene 能做什么 要回...
Lucene之Field
weishuwei
01-04 141
doc.add(new Field("file",file.getName(),Field.Store.YES,Field.Index.NO)); //doc.add(Field.UnIndexed("file", file.getName())); 后者在lucene的后续版本中找不到了,可能是被抛弃的方法吧.现在用上面的方法代替. org.apache.lucene.analysis包 or...
Lucene中的各种Field字段
qq_28702747的博客
03-10 5673
Lucene的Field说明Lucene存储对象是以document为存储单元，对象中相关的属性值则存放到Field中；lucene中所有Field都是IndexableField接口的实现[html] view plain copyorg.apache.lucene.index.IndexableField      Represents a single field for indexing....
lucene全文搜索 高亮显示 实现步骤(doc.add(new StringField（）、writer.addDocument(doc)、IndexSearcher、QueryParser )
可控的事情要谨慎，不可控的事情要乐观。
10-05 447
搜索效果截图： 新增一条记录时，除了数据库表数据的更新，还要额外添加索引文件： 然后再查询时，就根据上面的所以来查： 一、引入依赖 <!-- 添加lucene支持 --> <dependency> <groupId>org.apache.lucene</groupId> <artifactId>lucene-core<...
lucene中Field简析
weixin_30726161的博客
06-12 812
http://blog.youkuaiyun.com/zhaoxiao2008/article/details/14180019 先看一段lucene3代码 Document doc = new Document(); doc.add(new Field("fullpath", f.getCanonicalPath(), Field.Store.YES, Field.I...
反射 四 反射Filed 字段
可爱的java
01-23 174
/** * 总结：先加载类，然后用getDeclaredField方法获得声明了的字段， * 然后暴力反射 * set（对象，“设置的字段值”） * get（字段类型）（对象） * */ //设置name属性的值 @Test public void test1() throws Exception{ Person p = new Pe...
lucene的数据类型
寒夜
02-26 1834
文章目录1. lucene的数据类型VInt详解ZInt 详解2. lucene的基本结构1. doc number2. 段(segment) 的信息3. 文件信息3. 文件详细信息1.segment_N ##总览   这里主要想要介绍一下lucene的存储层面的东西，lucene的设计本来就很精巧，所以想了解需要花一些心思的。 1.lucene的数据类型 2.lucene包含了哪些信息 3.拥有哪些文件 1. lucene的数据类型 Byte：是最基本的类型，长8位(bit)。 Int32：由4个Byte
动态属性标签
如果你想看看某人的灵魂，只要问问他做了什么梦就行了
07-23 911
dynaAttr lee.DynaAttributesTag empty true public class DynaAttributesTag extends SimpleTagSupport implements DynamicAttrib
Lucene多种数据类型使用说明
zfj321的博客
05-01 1327
存储词项的位置、偏移量信息，支持高亮（Highlighting）。// 定义 String 类型字段（精确匹配）：排序、聚合、分组（类似数据库的列式存储）。：允许一个字段存储多个值（如标签、分类）。：精确值匹配（如 ID、状态码、标签）。：范围查询（如价格、年龄）、排序、聚合。// 定义数值字段（IntPoint）// 存储原始值（需额外存储字段）
lucene3.X Field部分参数设置含义
青衫-优快云博客
04-24 519
 出处： http://zuoqiang.iteye.com/blog/1326622 感谢您的文章 lucene 3中的Field Field.Store.YES:存储字段值（未分词前的字段值） Field.Store.NO:不存储,存储与索引没有关系 Field.Store.COMPRESS:压缩存储,用于长文本或二进制，但性能受损 Field.Inde
lucene 二进制字段值 doc
最新发布
08-01
Lucene 提供了对二进制字段值的处理能力，允许用户将二进制数据（如字节数组）存储在索引中，并在检索时提取出来。在 Lucene 中，二进制字段值通常通过 `StoredField` 或 `BinaryDocValuesField` 来实现存储和检索。 ### 存储二进制字段值 要存储二进制数据，可以使用 `StoredField` 类，它支持存储任意类型的字段值，包括字符串、数字和二进制数据。对于二进制数据，通常使用字节数组 `byte[]` 作为输入。以下是一个示例代码： ```java import org.apache.lucene.document.Document; import org.apache.lucene.document.StoredField; // 创建文档 Document doc = new Document(); // 假设 binaryData 是一个 byte[] 类型的二进制数据 byte[] binaryData = "example binary data".getBytes(); // 示例数据 StoredField binaryField = new StoredField("binaryField", binaryData); doc.add(binaryField); ``` 通过这种方式添加的字段会在索引中存储完整的二进制数据，并可以在检索时恢复原始字节数组。 ### 检索二进制字段值 在检索阶段，可以通过 `Document` 对象获取存储的二进制字段值。以下是一个示例代码，展示如何从文档中提取二进制数据： ```java import org.apache.lucene.document.Document; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.Term; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.TermQuery; import org.apache.lucene.search.TopDocs; // 假设 searcher 是一个已经初始化的 IndexSearcher 实例 TermQuery query = new TermQuery(new Term("binaryField", "someSearchTerm")); // 示例查询 TopDocs topDocs = searcher.search(query, 1); // 获取匹配的文档 if (topDocs.totalHits.value > 0) { Document retrievedDoc = searcher.doc(topDocs.scoreDocs[0].doc); StoredField field = (StoredField) retrievedDoc.getField("binaryField"); byte[] retrievedData = field.binaryValue().bytes; // 获取二进制数据 // 处理 retrievedData } ``` ### 二进制字段的索引与存储 Lucene 中的二进制字段不会被分析（即不会进行分词处理），因此不能直接用于全文检索。如果需要对二进制字段进行检索，通常需要在索引阶段将其转换为可检索的文本格式（如 Base64 编码），或者通过自定义分析器来处理。[^2] ### 性能考虑 由于 `StoredField` 会将整个字段值存储在索引中，因此对于较大的二进制数据（如图片、文件等），可能会显著增加索引大小并影响性能。如果只需要存储标识符或较小的二进制数据（如哈希值），这种方式是合适的。对于较大的数据，建议将实际数据存储在外部系统（如数据库或文件系统），而仅在 Lucene 中存储引用信息。 ### 使用 `BinaryDocValuesField` 如果需要对二进制字段进行排序或聚合操作，可以使用 `BinaryDocValuesField`。它将二进制数据作为不可变的 DocValues 存储，适用于需要高效访问的场景。以下是使用 `BinaryDocValuesField` 的示例： ```java import org.apache.lucene.document.BinaryDocValuesField; import org.apache.lucene.util.BytesRef; // 创建文档 Document doc = new Document(); // 假设 binaryData 是一个 byte[] 类型的二进制数据 byte[] binaryData = "example binary data".getBytes(); // 示例数据 BinaryDocValuesField binaryDVField = new BinaryDocValuesField("binaryDVField", new BytesRef(binaryData)); doc.add(binaryDVField); ``` 检索时，可以通过 `BinaryDocValues` 来访问该字段的值： ```java import org.apache.lucene.index.LeafReaderContext; import org.apache.lucene.index.BinaryDocValues; LeafReaderContext context = ...; // 获取 LeafReaderContext BinaryDocValues binaryDV = context.reader().getBinaryDocValues("binaryDVField"); if (binaryDV != null) { BytesRef value = binaryDV.get(docID); // 获取指定文档的二进制值 // 处理 value.bytes } ``` ### 总结 Lucene 支持通过 `StoredField` 和 `BinaryDocValuesField` 存储和检索二进制字段值。`StoredField` 适用于通用的二进制数据存储，而 `BinaryDocValuesField` 更适合需要排序或聚合的场景。在处理较大二进制数据时，建议结合外部存储系统以优化性能。[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值