Fielddata is disabled on text fields by default报错

最新推荐文章于 2022-07-07 09:42:17 发布

原创最新推荐文章于 2022-07-07 09:42:17 发布 · 206 阅读

0 ·

CC 4.0 BY-SA版权

es 专栏收录该内容

1 篇文章

订阅专栏

在使用Elasticsearch进行分组查询时，遇到错误并尝试修改mapping设置。通过将字段类型设为text并开启fielddata，问题仍未解决。最终发现需使用keyword类型字段进行分组，成功实现产品标签的分组查询。

学习es的时候，进行分组查询

GET /ecommerce/product/_search
{
  "aggs": {
    "group_by_tags": {
      "terms": {
        "field": "tags"
      }
    }
  }
}

报错：
在这里插入图片描述按照教程修改：

PUT /ecommerce/_mapping/product
{
  "properties": {
    "tags": {
      "type": "text",
      "fielddata": true
    }
  } 
}

还是有问题：
在这里插入图片描述后面找到资料,加入关键字keyword即可搜索：

GET /ecommerce/product/_search
{
  "aggs": {
    "group_by_tags": {
      "terms": {
        "field": "tags.keyword"
      }
    }
  }
}

问题解决

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

thetimelyrain

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

关于ES出现Fielddata is disabled on text fields by default的错误

weixin_43740449的博客

07-16

1652

跟着ElasticSearch官网的文档学习，执行以下代码 GET /megacorp/employee/_search { "size":0, "aggs": { "all_interests": { "terms": { "field": "interests" } } } } 报错如下 { "type": ...

Fielddata is disabled on text fields by default

武培轩

03-23

5471

使用 Elasticsearch 进行聚合的时候，如果对 text 类型的时候就会出现错误。请求如下： { "size": 0, "query": { "bool": { "must": [ { "range": { "time": { "from": "2020-03-19T00:00:00+0800", "to": "2...

参与评论您还未登录，请先登录后发表或查看评论

Fielddata is disabled on text fields by default. Set fielddata=true on [usrName]

硅脂味咖啡的博客

01-10

1270

使用spring boot+ElasticSearch做数据聚合时，报了该异常： Fielddata is disabled on text fields by default. Set fielddata=true on [usrName]

ES聚合查询报错：Fielddata is disabled on text fields by default. Set fielddata=true

smileLs的博客

10-15

1899

ES聚查询报错：Fielddata is disabled on text fields by default. Set fielddata=true 1.原代码 //以品牌分组，求组内情况 @Test public void testBucket(){ NativeSearchQueryBuilder queryBuilder = new NativeSearch...

Elacsearch中报Fielddata is disabled on text fields by default.

lpfasd123的博客

04-28

448

状况使用elasticsearch 进行排序的时候，我们一般都会排序数字、日期。但是在排序text类型的时候就会出现错误。原因 Fielddata默认情况下禁用文本字段，因为Fielddata可以消耗大量的堆空间，特别是在加载高基数text字段时。一旦fielddata被加载到堆中，它将在该段的生命周期中保持在那里。此外，加载fielddata是一个昂...

SpringDataElasticsearch查询ES进行排序时报错Fielddata is disabled on text fields by default. Set fielddata=tru

DreamsArchitects的博客

07-07

1878

Caused by: org.elasticsearch.ElasticsearchException: Elasticsearch exception [type=illegal_argument_exception, reason=Fielddata is disabled on text fields by default. Set fielddata=true on [receive_time] in order to load fielddata in memory by uninverting

ES排序操作错误：NotSerializableExceptionWrapper[: Fielddata is disabled on text fields by default.

lilyssh的博客

08-13

1423

报错信息 2021-08-13 15:38:42.838 [http-nio-10019-exec-8] INFO cn.gitv.user.utils.ElasticsearchUtil - {"size":1,"query":{"bool":{"must":[{"term":{"uid":{"value":12074,"boost":1.0}}},{"term":{"bizId":{"value":"10001628838759551490","boost":1.0}}},{"term":{"biz

Fielddata is disabled on text fields by default. Set fielddata=true on [xxx]

周不老的博客

07-18

5989

使用es查询的时候报错： Fielddata is disabled on text fields by default. Set fielddata=true on [createTime] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory. Alternatively use a keyword field in

解决 Elasticsearch 查询时 Fielddata is disabled on text fields by default 错误

TABSP

04-30

2015

问题描述以下过程基于 Elasticsearch 7.3 Elasticsearch 启动后无法查询，检查日志发现这样一行日志： Caused by: java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [type] in o...

elasticsearch聚合查询报Fielddata is disabled on text fields by default. Set fielddata=true

willishz的IT博客

04-14

1659

是因为列上默认fielddata是false，因为聚合查询非常费内存，所以默认没有打开，需要修改映射，在列上增加"fielddata": true属性参考我的这篇文章https://mp.csdn.net/console/editor/html/105513104 ...

Fielddata is disabled on text fields by default 故障处理

lepton126的专栏

06-23

8000

在elasticsearch中是进行聚合操作是，系统报错 "error": { "root_cause": [ { "type": "illegal_argument_exception", "reason": "Fielddata is disabled on text fields by default. Set fielddata=tr...

Fielddata is disabled on text fields by default. Set fielddata=true on [xxxx] in order to load fie

hu582205的博客

11-12

1877

在使用 TermsAggregationBuilder 处理es 查询时出现报错： Fielddata is disabled on text fields by default. Set fielddata=true on [xxxx] in order to load fielddata in memory by uninverting the inverted index. 这...

es进行聚合操作时提示Fielddata is disabled on text fields by default

拾荒者

03-13

1073

根据es官网的文档执行GET /megacorp/employee/_search { "aggs": { "all_interests": { "terms": { "field": "interests" } } } }这个例子时，报错{ "error": { "root_cause": [ {

关于springboot整合elasticsearch5.6无法设置fielddata=true来进行聚类的解决方案

qq_36390263的博客

08-01

6560

项目环境：springboot2.0.3 、elasticsearch5.6.10 先直接看报错信息：va.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [username] in order to load fielddata in...

Fielddata is disabled on text fields by default(keyword 可避免错误)

carrot5032的专栏

01-02

3994

用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色，它为数据存储，报表查询和日志解析创建了一个功能强大的管道链。用logstash把统计各项API的运行情况的日志拿过来，存储到Elasticsearch，在Elasticsearch建立索引，日志中的headers、response各个属性值都被放到了_source中，在kib

Elasticsearch5.X进行聚合操作时提示Fielddata is disabled on text fields by default

最新发布

09-04

<think> 嗯，用户需要解决Elasticsearch中text字段默认禁用Fielddata的问题。根据提供的所有引用内容，核心问题在于：text类型字段默认关闭fielddata功能，但用户又需要用它来做排序、聚合等操作。用户可能是Elasticsearch的中级使用者，遇到了业务中需要对文本字段进行聚合的需求。从引用[3]看，用户很可能在日志里看到了经典的错误提示"Fielddata is disabled on text fields by default"，这确实是ES开发中的常见痛点。引用[1][2][5]都强调了fielddata的两个关键特性：一是会消耗大量堆内存，二是加载过程昂贵。这说明解决方案需要平衡功能和资源消耗。引用[4]给出的示例非常实用，展示了具体操作步骤，包括修改mapping设置fielddata=true的完整流程。考虑到用户可能面临的实际场景，需要重点提醒风险：引用[4]明确提到"启用fielddata通常没有任何意义，因为它非常耗费内存"，除非确实需要。而引用[3]的解决方案其实提供了两种路径——要么开启fielddata，要么改用keyword字段，后者可能是更优解。用户没有说明具体使用场景，但根据引用[4]的提示，如果是全文搜索为主的应用就不需要开启。这提示我需要补充询问场景的步骤，避免用户盲目开启。另外，聚合频次也是关键因素，偶尔聚合和高频聚合对内存的影响完全不同。在整理解决方案时，应该把更安全的keyword方案放在前面，因为引用[3][4]都推荐了这个做法。而开启fielddata的方案需要配套内存监控建议，这点引用[1][5]都提到了堆空间风险。示例代码最好保留引用[4]的DSL，但改用更简洁的test_index名称避免混淆。 </think> 针对Elasticsearch中text字段默认禁用Fielddata的问题，以下是完整解决方案及注意事项： ### 一、问题原因 Elasticsearch默认禁用text字段的Fielddata，主要因其**内存消耗大**且**加载成本高**（引用[2][5]）： 1. Fielddata会将文本字段数据加载到堆内存中 2. 高基数文本字段（如日志消息）可能消耗GB级内存 3. 加载过程导致查询延迟（尤其大字段） 4. 数据在分段生命周期内常驻内存不可释放 ### 二、解决方案 #### ✅ 方案1：启用fielddata（谨慎使用）在mapping中显式开启fielddata： ```json PUT your_index/_mapping { "properties": { "your_text_field": { "type": "text", "fielddata": true // 关键设置 } } } ``` **适用场景**： - 必须对原始分词后的文本进行聚合/排序 - 内存资源充足且字段基数低（如<1000个唯一词项） #### ✅ 方案2：使用keyword多字段（推荐）通过multi-fields同时保留text和keyword类型： ```json PUT your_index { "mappings": { "properties": { "content": { "type": "text", // 用于全文搜索 "fields": { "keyword": { // 用于聚合/排序 "type": "keyword" } } } } } } ``` 查询时使用`content.keyword`进行聚合/排序： ```json GET your_index/_search { "aggs": { "top_keywords": { "terms": { "field": "content.keyword" // 使用keyword子字段 } } } } ``` **优势**： - 避免内存爆炸（keyword字段使用doc_values，非堆内存） - 支持精确值操作（如排序、聚合） - 保留全文搜索能力（引用[4]） ### 三、关键注意事项 1. **内存监控**： ```json GET _nodes/stats/indices/fielddata?fields=* ``` 定期检查fielddata内存使用，防止OOM（引用[5]） 2. **资源限制**： ```json PUT _cluster/settings { "persistent": { "indices.breaker.fielddata.limit": "40%" // 堆内存占比≤40% } } ``` 3. **替代方案**： - 对无需分词的字段直接用`keyword`类型 - 冷数据聚合使用`doc_values`（默认开启） 4. **重建索引**：修改mapping后需用`_reindex`迁移数据（引用[4]示例） > ⚠️ **警示**：仅在必须使用分词结果进行聚合时才开启fielddata（如词云生成），多数场景应优先采用keyword多字段方案（引用[4]强调"启用fielddata通常没有任何意义"）。 ### 四、典型错误场景尝试聚合text字段时抛出异常： ```log Fielddata is disabled on text fields by default. Set fielddata=true on [your_field]... (引用[3]) ``` 此时按上述方案二修改查询字段为`your_field.keyword`即可解决。