Logstash报错： Could not index event to Elasticsearch

最新推荐文章于 2024-03-07 18:46:44 发布
原创 最新推荐文章于 2024-03-07 18:46:44 发布 · 1.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elasticsearch #java #大数据

文章描述了在Logstash7.3和Elasticsearch7.3环境下，遇到由于Elasticsearch默认分片限制（1000个）导致的警告。提供了解决此问题的两种方案：一种是临时调整集群设置，增加最大分片数到10000（重启后失效）；另一种是永久修改设置，同样增加最大分片数至10000。
一、环境说明

  • Logstash 7.3

  • ElasticSearch 7.3

二、现象

logstash/logs/logstash-plain.log大量警告：
Validation Faile
d: 1: this action would add [1] total shards, but this cluster currently has [1000]/[1000] maximum shards open;

在这里插入图片描述

三、原因

elasticsearch7版本及以上的，默认只允许1000个分片，因为集群分片数不足引起的。

四、解决

4.1 临时解决方案（重启ES将失效）

在kibana -> 开发者工具 -> Console页签下执行如DSL下语句

PUT /_cluster/settings
{
   
   
  "transient": {
最低0.47元/天 解锁文章
IChen.
关注
解决elasticsearch报错Limit of total fields [1000] in index [xxx]
厚嘉的it窝
10-14 1万+
公司部署ELK日志收集中，当字段过多时候回，出现错误[WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"logstash-2019.10.14", :_ty...
ELK - Elasticsearch Validation Failed: this cluster currently has [1000]/[1000] maximum shards open
星之空
11-02 3182
Elasticsearch突然就写不进去了，看日志，shards有1000的限制。 Dev Tool { “error” : { “root_cause” : [ { “type” : “runtime_exception”, “reason” : “Failed to persist transform configuration” } ], “type” : “runtime_exception”, “reason” : “Failed to persist transform configuratio
[WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=＞400
weixin_44972135的博客
09-14 5065
elk报错信息显示如下内容： [WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"182-api-access.log-2020.09.14", :_type=>"_doc", :routing=>nil}, #<LogStash::Event:
解决logstash.outputs.elasticsearch[main] Could not index event to Elasticsearch status 404
gman344的博客
01-11 4814
现象：lostack启动正常，logstack收集输入redis数据，输出到elasticsearch写入失败 提示：去建索引 的时候elasticsearch返回404 [2019-11-12T11:37:29,009][WARN ][logstash.outputs.elasticsearch][main] Could not index event to Elasticsearch. {:status=>404, :action=>["index", ...
windows下Logstash6.5.3版本读取文件输入不生效、配置elasticsearch模板后数据入es报错：Rejecting mapping update to [hello-world-...
wuxun1997的专栏
09-11 733
　　首先讲个题外话。logstash配置文件hello-world.json上篇也提到过，不过那是7.9.0版本的，注意mapping下面是没有type的，因为默认的type就是_doc： { "index_patterns": ["hello-world-%{+YYYY.MM.dd}"], "order": 0, "settings": { "inde...
Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"audit-2025.07.24", :_type=>"doc", :routing=>nil}, #<LogStash::Event:0x4af07fb9>], :response=>{"index"=>{"_index"=>"audit-2025.07.24", "_type"=>"doc", "_id"=>"s2MhPJgBvqEKnFgzO_xm", "status"=>400, "error"=>{"type"=>"illegal_argument_exception", "reason"=>"Rejecting mapping update to [audit-2025.07.24] as the final mapping would have more than 1 type: [user_op_audit, doc]"}}}}
最新发布
07-25
首先，用户的问题是关于Elasticsearch的错误：用户在使用Logstash将数据同步到Elasticsearch时遇到错误，提示“Rejecting mapping update to [index_name] as the final mapping would have more than 1 type”。...
logstash的elasticsearch output plugin：不同action的区别（index/create/update）
点火三周的专栏
09-25 4421
文章目录elasticsearch plugin的actioncreateindexupdatedoc_as_upsertupsert异常总结 elasticsearch plugin的action logstash提供了多达40多种的output plugin用于将处理后的数据输出到下游系统。其中最为常见的输出端自然是elasticsearch plugin。而elasticsearch plu...
问题： Could not index event to Elasticsearch. {:status=＞400, :action=＞[“index“, {:_id=＞nil, :_index=＞
Operational_0624的博客
03-07 1315
elasticsearch7版本以上的，默认只允许1000个分片，因为集群分片数不足引起的。#elc(es用户):password(#es密码）下面命令给他扩容到10000 问题就解决了。解决：（永久性解决）
关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=＞400...】问题处理记录
weixin_42993847的博客
09-26 3415
关于 ELK 环境中 logstash 报【Could not index event to Elasticsearch. {:status=>400...】问题处理记录
关于Logstash引入数据库数据到Elasticsearch中报Could not index event to Elasticsearch问题
China_HaoZi的博客
09-05 1379
Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:
weixin_45744265的博客
03-09 5623
用eslogstash给es导入mysql的数据时，要注意日期格式的类型。
使用Logstash同步mysql数据到Elasticsearch（亲自踩坑）
weixin_45394216的博客
09-15 3113
下载版本一定要和Elasticsearch版本一致(如Elasticsearch版本为7.10.2，那么对应下载的Logstash版本也要选择7.10.2!⚠️原因：数据库表中的sex字段，字段类型为tinyint，Logstash会转成boolean，但是ES中设置的也是int类型，所以你懂的。恭喜你🎉🎉🎉，到这你已经成功3/4啦，接下来进入到最重要，同时99%会报错的最后一步，加油⛽️。恭喜你🎉🎉🎉，到这你已经成功1/4啦，接下来我们要去创建ES索引以及MySQL表啦，加油⛽️。ps：创建过程略过…
ElasticSearch6.0 同个Index中不可以有相同的Type
EndTheme_Xin的博客
12-19 1776
1.简介 用ES你可能会接触到这么一个类比，index类比数据库，type类比表。 很可惜，ElasticSearch6.0以上的版本，不支持在同一个Index中拥有不同的Type。 同时官方还声明，将在7.0版本删除Type。 具体看链接 懒得点链接的同学，我直接截图到这里了   2.使用 诶...根据你们的业务需求，选择 ES5.0版本 或者 选择不使用type属性来区分数...
elasticsearch 踩坑记录
qq_29384639的博客
10-14 809
问题1：Linux下磁盘爆满，df -h 可以发现，默认目录下磁盘使用已经达到100%，但是15T的磁盘中数据并未被充分利用，原因是elasticsearch安装后使用了默认路径，通过以下命令查询/var/lib这个路径就在100%那个空间 解决1：迁移es存储空间和日志空间 ①修改/etc/elasticsearch/elasticsearch.yml文件 修改数据文件存储位置: 默认位置: path.data: /var/lib/elasticsearch 修改为: ...
Logstash——Logstash将数据推送至Elasticsearch
热门推荐
大风的博客
05-25 1万+
elasticsearch介绍 在使用云日志管理的时候，logstash的数据最终需要elasticsearch来进行存储和分析。所以logstash提供大量参数来支持和满足相关业务场景。 可配置参数 字段 参数类型 说明 action string 要执行的Elasticsearch动作 api_key password 使用Elasticsearch API密钥进行身份验证,需要启动SSL bulk_path string 执行_bulk请求的HTTP路径 cacert a
集群写入_es 7.2 生产集群 index 无数据写入故障定位
loveLifeLoveCoding的博客
07-10 602
Logstash报错： Could not index event to Elasticsearch_懵懂无知的蜗牛的博客-优快云博客集群写入_es 7.2 生产集群 index 无数据写入故障定位_镝不咸的博客-优快云博客查看 logstsh 日志报错提示如下Could not index event to Elasticsearch. {:status=>400, :action=>["index", {:_id=>nil, :_index=>"apps_wms-2020.07.16", :rout
elasticsearch报分片不够
moyuanbomo的博客
05-09 2424
一、原因： 查看logstash的日志报错如下：tail -f logstash-plain.log "error"=>{"type"=>"validation_exception", "reason"=>"Validation Failed: 1: this action would add [2] shards, but this cluster currently has [999]/[1000] maximum normal shards open;"} 二、修改参数，增
ElasticSuite but this cluster currently has [1000]/[1000] maximum shards open
CyrusZhou的专栏
08-25 2025
错误提示： Catalog Search index process unknown error: {"error":{"root_cause":[{"type":"validation_exception","reason":"Validation Failed: 1: this action would add [1] total shards, but this cluster currently has [1000]/[1000] maximum shards open;"}],"type":"
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值