Elasticsearch 一些异常报错、注意事项(1)

最新推荐文章于 2025-03-11 20:25:25 发布

MTonj

最新推荐文章于 2025-03-11 20:25:25 发布

阅读量1w

点赞数 2

分类专栏：大数据文章标签： elasticsearch

本文链接：https://blog.youkuaiyun.com/MTonj/article/details/124459710

版权

大数据专栏收录该内容

8 篇文章

订阅专栏

本文讨论了在Elasticsearch中遇到的一些异常，包括mapper_parsing_exception与date_time_parse_exception。主要问题出在日期字段的格式不匹配。解决方案包括明确指定文档操作类型、理解分片选择机制以及调整日期格式映射。通过对异常的解析，提供了如何避免和解决这些问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

操作类型

系统支持通过参数（op_type=create）强制执行创建索引操作。只有当系统中不存在此文档的时候才会创建成功。如果不指定此操作类型，如果存在此文档则会进行更新操作。

bulk 默认op_type 是index

自动创建id

当创建文档的时候，如果不指定id,系统则会默认创建id。自动生成的id是一个不会重复的随机数。

分片选择

默认情况下，分片的选择是通过id的散列值进行控制。这个只可以通过router参数进行手动控制。可以在每个操作的基础上直接通过hash函数的值来指定分片的选择。如下:

POST example/docs/?routing=路由的值（动态替换）&pretty

报错信息

异常一：

ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [extractedFields.message.time] of type [date] in document with id 'z06A4X0BHDCoR6byd8Hy'. Preview of field's value: '2020-07-23 11:23:38']]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=failed to parse date field [2020-07-23 11:23:38] with format [strict_date_optional_time||epoch_millis]]]; nested: ElasticsearchException[Elasticsearch exception [type=date_time_parse_exception, reason=Failed to parse with all enclosed parsers]];

异常二：

ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [time] of type [date] in document with id 'OkmVZn4BExock2uC-Xxt'. Preview of field's value: '13:50:02']]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_argument_exception, reason=failed to parse date field [13:50:02] with format [strict_date_optional_time||epoch_millis]]]; nested: ElasticsearchException[Elasticsearch exception [type=date_time_parse_exception, reason=Failed to parse with all enclosed parsers]];

异常三：

ElasticsearchException[Elasticsearch exception [type=mapper_parsing_exception, reason=failed to parse field [extractedFields.message] of type [text] in document with id '4VKG4X0BHDCoR6byZVqf'. Preview of field's value: '{protocol=http, app_ip=88.0.46.134, app_port=80, service_port=45766, type=XPATH, aatime=2020-07-21 22:23:38, service_ip=115.238.251.172}']]; nested: ElasticsearchException[Elasticsearch exception [type=illegal_state_exception, reason=Can't get text on a START_OBJECT at ]];

异常一、二、三都是在批量插入操作时发生的。主要原因在于动态模板Mapping映射。以Mapping映射中日期类型的格式化设置为例。Elasticsearch默认date类型的格式是"strict_date_optional_time||epoch_millis",是包含时区信息的时间格式或者毫秒。（更多说明详见官网：Date field type | Elasticsearch Guide [8.1] | Elastic）

对于上面的报错异常，可以自己增加日期类型字段的格式化匹配：

"time": {
"mapping": {
"type": "date",
"format": "MMM d HH:mm:ss||yyyy-MM-dd HH:mm:ss.SSS||HH:mm:ss||yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||strict_date_optional_time||epoch_millis"
},
"match": "*time"
}

elasticsearch 更多日期格式化参考：（format | Elasticsearch Guide [7.4] | Elastic）

支持完全可定制的日期格式，这些语法在DateTimeFormatter (Java Platform SE 8 )中有解释。例如：

Jan 19 18:01:01 对应的格式化pattern为： MMM d HH:mm:ss
“Fri Aug 28 18:08:30 CST 2015”， 模式: “EEE MMM d HH:mm:ss ‘CST’ yyyy”
“Aug 28, 2015 6:8:30 PM”， 模式: “MMM d, yyyy h:m:s aa”

对于异常报错也可以采取ignore_malformed（忽略格式不对的数据）