ElasticSearch中的field data（正排索引）

最新推荐文章于 2025-06-08 14:18:18 发布
原创 最新推荐文章于 2025-06-08 14:18:18 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了Elasticsearch中倒排索引和正排索引的工作原理，解释了倒排索引如何通过快速全文搜索提升效率，以及正排索引如何用于排序、聚合等操作。同时，介绍了fielddata的作用和内存优化策略，包括docvalues的使用，以减少内存占用。

 

glrh123 2016-07-29 11:07:01  3137  已收藏 1
分类专栏： ElasticSearch
版权
主要参考文章：http://www.tuicool.com/articles/B3QnQzE

正排索引与倒排索引
Elasticsearch使用一种叫做倒排索引(inverted index)的结构来做快速的全文搜索。倒排索引由在文档中出现的唯一的单词列表，以及对于每个单词在文档中的位置组成。倒排索引的结构如下图，它存储的内容是“哪些词语出现在了哪些文档中”，这种结构决定了它不能很好的支持对文档的索引、排序、聚合的操作，因此Elasticsearch中增加了field data的数据结构。


Elasticsearch cluster中的内存多半都被消耗在了field data（也就是我们常说的正排索引）上，field data主要用于：
·按照字段排序(sort)
·按照字段进行聚合(Aggregations)
·过滤器，例如地理位置过滤
·script排序中使用到某些字段

field data（正排索引）的结构是“哪些文档中包含哪些词语”。形式如下图：


field data是以段(segment)为单位进行构建的，当一个新的段打开时，老的field data仍然有效，只有和新段相对应的field data会被载入到内存。


正排索引的内存使用
将field data都载入堆内存可以提高访问速度，但是载入过多数据到内存中会引起频繁GC甚至是OutOfMemory异常。
field data默认是懒加载模式，在遇到query之后才开始将倒排索引正排化，它不仅仅在内存中载入命中的文档，而是会载入索引中所有文档的field data，为了以后的查询做准备。


优化内存
1、过滤field data，告诉ES在哪些term不要在field data中载入。
下图是按照频率过滤，也可以按照正则表达式过滤。


2、设置预先加载field data
1) Eagerly load fielddata

2) Eagerly load global ordinals


3) Prepopulate caches with warmers
具体设置参考：http://zhaoyanblog.com/archives/764.html

3、DocValues
field data可以被写在磁盘中，实现这种操作的选项叫做 doc values。
doc values允许你使用大量的field data数据而不必担心内存被大量占用的问题。当你使用doc values后，你的堆内存就可以分配更小的值来加快垃圾回收的速度。
doc values是在索引阶段就创建的，它的预创建使得它的初始化更加容易。
doc values适用于numeric, date, Boolean, binary, geo-point字段，还有"not_analyzed"的string字段。


补充：
field data的格式
按字段的类型的不同，字段对应的doc values的类型可以有不同：

1.String字段
paged_bytes (默认格式)： 不同的term顺序地存储在一个大的buffer中，每个文档被映射到它所包含的term在buffter中的索引。
fst：term以FST (finite state transducer)格式存储，载入慢一些，但是在很多term有相同的前缀或者后缀的情况下能够减少内存的使用。
doc_values：索引建立时计算field data并将它存储在磁盘上，占用的内存最少，但是对应的字段必须是not_analyzed。

2.Numeric字段
array (默认格式)：field data在内存中以数组的形式存储。
doc_values：索引建立时计算field data并将它存储在磁盘上，占用的内存最少。

3.Geo字段
array (default)：经度和维度在内存中以数组的形式存储。
doc_values：索引建立时计算field data并将它存储在磁盘上，占用的内存最少。
————————————————
版权声明：本文为优快云博主「glrh123」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.youkuaiyun.com/glrh123/article/details/52062762

【Elasticsearch】es fielddata 字段数据
九师兄
11-02 1990
在es中，text类型的字段使用一种叫做fielddata的查询时内存数据结构。当字段被排序，聚合或者通过脚本访问时这种数据结构会被创建。它是通过从磁盘读取每个段的整个反向索引来构建的，然后存存储在java的堆内存中。Fielddata针对text字段在默认时是禁用的，Fielddata会占用大量堆空间，尤其是在加载大量的文本字段时。一旦将字段数据加载到堆中，它在该段的生命周期内将一直保留在那里。同样，加载字段数据是一个昂贵的过程，可能导致用户遇到延迟的情况。这就是默认情况下禁用字段数据的原因。
Elasticsearch 缓存全解析：原理、监控与优化实战
最新发布
持续输出Java相关知识
08-28 1105
本文系统介绍了Elasticsearch中的缓存机制，包括Fielddata、Query Cache、Request Cache等核心缓存类型的工作原理、版本差异及管理方法。详细解析了通过API监控缓存指标、使用Grafana/Prometheus可视化缓存状态，以及各类缓存的清理操作与最佳实践。针对不同版本（ES6.x/7.x/8.x）的缓存特性差异进行说明，并提供了完整的缓存管理命令集，帮助运维人员优化ES性能，避免内存溢出等问题。重点强调了缓存命中率分析、清理时机选择等实用技巧，为生产环境中的ES缓存
Elasticsearch：fielddata 介绍
Elastic 中国社区官方博客
12-14 4665
默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values用于此数据访问模式，但是文本（text）字段不支持doc_values。 替代的方案，文本（text）字段...
【Elasticsearch】映射：fielddata 详解
Code · Cloud · Think · Repeat
06-08 1361
fielddata 是 Elasticsearch 中一种数据结构，用于在内存中缓存字段数据。当需要对 text 字段或其他非 doc_values 支持的字段执行上述操作时，Elasticsearch 需要将这些字段的值加载到内存中，这就是 fielddata 的作用。
elasticsearch中 fieldData
Angus
03-28 3102
fieldData是干啥的？ 当我们对text类型的字段进行首次聚类、排序、或者执行脚本的时候。将磁盘中的数据构建到内存够中。 默认情况下，大多数字段都已编入索引，这使它们可搜索。 但是，脚本中的排序，聚合和访问字段值需要与搜索不同的访问模式。 搜索需要回答“哪个文档包含该术语？”这个问题，而排序和汇总则需要回答一个不同的问题：“此字段对该文档的值是什么？”。 大多数字段可以将索引时生产的磁盘doc_values(doc_values | Elasticsearch Guide [8.1] | E
Elasticsearch学习---fielddata应用介绍
自律使我自由
07-20 3384
前言
ElasticSearch学习笔记(一)倒排索引、ES和Kibana安装、索引操作
挑灯日记 记录自己
06-20 1599
为此，IK分词器提供了强大的停用词功能，让我们在索引时就直接忽略停用词汇表中的内容。但根据关键词查询时，必须先逐条获取每个文档，然后判断文档中是否包含所需要的关键词，是。倒排索引结构虽然不复杂，但是一旦数据结构改变（比如改变了分词器），就需要重新创建倒排索引，这又是无法接受的。先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快，而无需全表扫描。但由于网络问题，拉取失败了。则相反，是先找到用户要搜索的词条，根据词条得到保存词条的文档的id，然后根据id获取文档，是。
SpringBoot-ElasticSearch（ElasticSearch 倒排索引 es的一些概念 环境安装 索引库操作 RestAPI ElasticSearch查询 案例（含页面））
qq_52897007的博客
07-26 1191
创建索引库：PUT /索引库名查询索引库：GET /索引库名删除索引库：DELETE /索引库名添加字段：PUT /索引库名/_mapping。
Elasticsearch教程之《一文读懂ES的数据类型Field datatypes》
极客世杰
07-04 699
Elasticsearch是一个基于Lucene的搜索引擎，它提供了丰富的数据类型来满足不同场景下的数据存储和查询需求。本文将详细介绍Elasticsearch中的数据类型，包括它们的应用场景、代码示例以及使用注意事项，并特别对比文本（Text）和关键词（Keyword）两种类型。
Elasticsearch详细笔记（一）：认识和安装ES--倒排索引--IK分词器
m0_73927143的博客
09-23 1174
关于elasticsearch的基础知识，IK分词器的安装使用
Elasticsearch 之（31）fielddata原理初探
vincent
05-28 4936
1、《Elasticsearch 之（6）kibana嵌套聚合，下钻分析，聚合分析》提到 对于分词的field执行aggregation，发现报错GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { "field": "test_field" ...
更新fielddata为true_关于ElasticSearch的聚类时出现fielddata=true问题
weixin_39551996的博客
01-17 278
在ElasticSearch中默认fielddata默认是false的，因为开启Text的fielddata后对内存的占用很高index：megacorptype：employee如果进行聚合查询时候：GET /megacorp/employee/_search{"aggs": {"all_interests": {"terms": { "field": "interests" }}}}返回错误码...
ElasticSearch：从[FIELDDATA]Data too large错误看FieldData配置
热门推荐
雷雨中的双桅船
07-06 2万+
产生Data too large异常 再尝试其他查询也是如此经排查原来是ES默认的缓存设置让缓存区只进不出引起的具体分析一下 ES缓存区概述 FieldData 1 监控FieldData 2 Cache配置 3 FieldData格式 断路器 总结1. 产生Data too large异常今早运行查询时，ES返回了如下报错：{ "error": "... CircuitBreakingE
elasticsearch的Doc Values 和 Fielddata
thomas0yang的专栏
03-30 1万+
DocValues 什么是DocValues 简单说明DocValues就是一个种列式的数据存储结构（docid、termvalues）。 倒排索引的优势在于查找包含某个项的文档，即通过Term查找对应的docid。 term的倒排 Term Doc_1 Doc_2 Doc_3 brown X X dog X
Elasticsearch-开启Fielddata
qq_44686757的博客
10-29 408
在对 Elasticsearch 中字段进行访问时，报： ElasticSearch [Fielddata is disabled on text fields by default. Set fielddata=true on XXFielddata是Elasticsearch中用于在内存中存储文本字段数据的一种结构，它允许对文本字段进行排序、聚合或脚本访问。然而，由于Fielddata可能会消耗大量的堆空间，尤其是当加载高基数文本字段时，因此默认情况下它是禁用的。修改对应字段 felddata 为 tr
Elasticsearch系列：番外篇-Fielddata
布道
02-26 3659
在上一篇DocValues中介绍过，它主要是针对not analyzed String字段存储，那要针对需要分词的字段该如何sort，agg，group，facet呢？一般默认情况下，它会报错。 GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { ...
ElasticSearch教程——fielddata原理初探
东天里的冬天
11-21 4062
ElasticSearch汇总请查看：ElasticSearch教程——汇总篇   1、博文kibana嵌套聚合，下钻分析，聚合分析中kibana嵌套聚合，下钻分析，聚合分析 GET /test_index/test_type/_search { "aggs": { "group_by_test_field": { "terms": { "fiel...
ES官方文档整理-4.field data 内存控制
儒生的博客
12-14 1148
官网说明： Once analyzed strings have been loaded into fielddata, they will sit there until evicted (or your node crashes). For that reason it is important to keep an eye on this memory usage, understand
Spring Data Elasticsearch 创建索引
02-25
<think>好的，用户之前询问了Elasticsearch的索引模板，现在又转向了Spring Data Elasticsearch如何创建索引。我需要先理解用户的需求。用户可能是在开发中使用Spring Data Elasticsearch，想要了解如何通过这个框架来创建索引，而不仅仅是Elasticsearch原生的方法。 首先，我需要回忆Spring Data Elasticsearch的基本概念。它简化了Elasticsearch的操作，通过注解和模板类让Java开发者更方便地与ES交互。用户可能已经知道ES的基本操作，现在想结合Spring框架来使用，特别是在创建索引方面。 接下来，用户可能想知道如何通过实体类自动创建索引，或者手动创建。需要覆盖这两种情况。Spring Data Elasticsearch通常使用@Document注解来定义索引，然后通过ElasticsearchOperations或ElasticsearchRestTemplate来操作。 另外，用户可能关心索引的配置，比如分片、副本、映射等。需要解释如何通过注解设置这些参数，或者通过IndexOperations进行手动设置。 可能用户在实际应用中遇到了问题，比如索引无法自动创建，或者映射不正确，因此需要详细的步骤和示例代码。需要提供具体的代码示例，包括实体类定义、配置类、自动创建索引的方法，以及手动创建的方式。 还要考虑版本兼容性。不同版本的Spring Data Elasticsearch可能API有所不同，需要指出常见的版本差异，比如4.x和5.x的变化，避免用户混淆。 另外，用户可能对动态模板或索引模板在Spring中的使用有疑问，虽然之前的问题是关于ES原生的索引模板，现在结合Spring框架，可能需要说明如何整合两者，比如在Spring应用中应用索引模板。 最后，需要提醒用户注意事项，比如确保ES服务可用，配置正确，版本匹配，以及自动创建的限制，比如需要实体类有@Document注解，并且正确配置了映射。 总结下来，回答的结构应该包括自动创建和手动创建两种方式，示例代码，版本注意事项，以及常见问题和解决方案。确保内容清晰，步骤明确，帮助用户顺利实现索引的创建。</think>以下是关于 **Spring Data Elasticsearch 创建索引** 的详细介绍，涵盖自动/手动创建索引的步骤、核心注解及实际代码示例： --- ### **一、创建索引的两种方式** Spring Data Elasticsearch 支持 **自动创建索引** 和 **手动编程创建索引**，具体选择取决于业务场景需求。 --- ### **二、自动创建索引** 通过 **实体类注解** 定义索引配置，Spring Data Elasticsearch 会在应用启动时自动创建索引（需配置 `@EnableElasticsearchRepositories`）。 #### **1. 核心注解** | 注解 | 说明 | |----------------------|----------------------------------------------------------------------| | `@Document` | 标记实体类对应的 Elasticsearch 索引。 | | `@Id` | 标识主键字段。 | | `@Field` | 定义字段类型、分词器等映射规则。 | | `@Setting` | 定义索引的 `settings`（如分片数、副本数、分词器等）。 | #### **2. 示例代码** ```java // 实体类定义 @Document(indexName = "user_index", createIndex = true) // createIndex=true 表示自动创建索引 @Setting( shards = 3, replicas = 1, settingPath = "/elasticsearch/custom_analyzer.json" // 自定义分词器配置文件 ) public class User { @Id private String id; @Field(type = FieldType.Text, analyzer = "ik_max_word") private String name; @Field(type = FieldType.Integer) private Integer age; // Getters & Setters } ``` #### **3. 自动创建索引的条件** - **启动配置**：在 Spring Boot 主类添加 `@EnableElasticsearchRepositories`。 - **依赖正确**：确保引入 `spring-boot-starter-data-elasticsearch`。 - **索引不存在**：若索引已存在，不会覆盖原有配置。 --- ### **三、手动创建索引** 通过 `ElasticsearchOperations` 或 `IndexOperations` 手动控制索引的创建和配置。 #### **1. 使用 IndexOperations** ```java @Autowired private ElasticsearchOperations elasticsearchOperations; public void createUserIndex() { IndexOperations indexOps = elasticsearchOperations.indexOps(User.class); // 删除索引（如果存在） if (indexOps.exists()) { indexOps.delete(); } // 创建索引并配置映射 indexOps.create(); indexOps.putMapping(User.class); // 自定义 settings（可选） Settings settings = Settings.builder() .put("index.number_of_shards", 3) .put("index.number_of_replicas", 1) .build(); indexOps.create(settings); } ``` #### **2. 直接使用 Elasticsearch REST Client** 若需要更底层控制，可直接操作 `RestHighLevelClient`： ```java @Autowired private RestHighLevelClient restHighLevelClient; public void createIndexWithCustomSettings() throws IOException { CreateIndexRequest request = new CreateIndexRequest("custom_index"); // 设置分片和副本 request.settings(Settings.builder() .put("index.number_of_shards", 3) .put("index.number_of_replicas", 1) ); // 定义映射 XContentBuilder mappingBuilder = XContentFactory.jsonBuilder() .startObject() .startObject("properties") .startObject("name") .field("type", "text") .field("analyzer", "ik_max_word") .endObject() .endObject() .endObject(); request.mapping(mappingBuilder); // 执行创建 restHighLevelClient.indices().create(request, RequestOptions.DEFAULT); } ``` --- ### **四、动态映射与模板整合** 若需结合 **Elasticsearch 索引模板**（Index Templates），可在 Spring 中配置： #### **1. 预定义索引模板** 在 Elasticsearch 中预先创建模板（如 `PUT /_index_template/user_template`），模板的 `index_patterns` 需匹配 Spring 实体类的索引名称（例如 `user_*`）。 Spring Data Elasticsearch 创建索引时，会自动应用匹配的模板。 #### **2. 动态模板配置** 在实体类中使用 `@DynamicMapping` 注解，或在 `@Field` 中定义动态规则： ```java @Document(indexName = "log_index") public class Log { @Field(type = FieldType.Date, format = DateFormat.date_optional_time) private Date timestamp; @Dynamic(value = DynamicMapping.STRICT) // 禁止动态添加字段 private Map<String, Object> metadata; } ``` --- ### **五、版本兼容性注意** 不同版本的 Spring Data Elasticsearch 对 Elasticsearch 客户端的支持不同： - **Spring Data Elasticsearch 4.x**：兼容 Elasticsearch 7.x。 - **Spring Data Elasticsearch 5.x**：兼容 Elasticsearch 8.x，需使用新的 `ElasticsearchClient`。 --- ### **六、常见问题** #### **1. 索引未自动创建** - 检查 `@Document(createIndex = true)` 是否设置。 - 确认 `spring.data.elasticsearch.client.reactive.enabled=false`（若使用阻塞式客户端）。 #### **2. 字段映射不生效** - 确保 `@Field` 注解中的 `type` 正确（如 `FieldType.Keyword` 或 `FieldType.Text`）。 - 检查是否手动覆盖了自动生成的映射。 #### **3. 版本冲突** - 确保 Spring Data Elasticsearch 版本与 Elasticsearch 服务端版本匹配（[官方兼容性矩阵](https://spring.io/projects/spring-data-elasticsearch)）。 --- ### **七、完整配置示例（application.yml）** ```yaml spring: data: elasticsearch: client: reactive: endpoints: localhost:9200 # Elasticsearch 地址 repositories: enabled: true ``` --- 如果需要更详细的代码示例或特定场景的配置（如多租户索引、别名管理），可以进一步探讨！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值