Elasticsearch Date类型，时间存储相关说明

Elasticsearch时间存储技巧
最新推荐文章于 2025-10-28 17:37:37 发布
转载 最新推荐文章于 2025-10-28 17:37:37 发布 · 1.1w 阅读 · 4
文章标签：

#elasticsearch

从昨晚开始，到今天中午之前，一直在纠结时间存储问题，昨晚是纠结时间取出来的问题。

其实我的想法很简单，我就想java.util.Date  存储到 Elasticsearch  ，然后从 Elasticsearch  中再取出来的时候，它是个Date ，不需要我任何转换。

但是发现好像不行。

我开始在创建 Mapping  的时候，就是为：


 
  1. //...省略部分代码
  2. .startObject("create_date").field("type","date").field("format","yyyy-MM-dd HH:mm:ss").endObject()
  3. //...省略部分代码

指定了Type 为Date ，并且format 为yyyy-MM-dd HH:mm:ss ，然后new Date(); 插入后报错：


 
  1. message [MapperParsingException[failed to parse [create_date]]; nested: IllegalArgumentException[Invalid format: "2016-07-04T03:03:12.616Z" is malformed at "T03:03:12.616Z"];]

根据错误提示，我先把时间格式化，然后插入：


 
  1. result.put("create_date", new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(create_date));

然后插入OK。后来我看了源码，才恍然大悟。新版本（我不知道从什么版本开始，我以前最开始用的是0.9）值是根据value 的类型来判断。我贴一下。

org.elasticsearch.common.xcontent.XContentBuilder  中 1248 行。


 
  1. private void writeValue(Object value) throws IOException {
  2. 	if (value == null) {
  3. 		generator.writeNull();
  4. 		return;
  5. 	}
  6. 	Class<?> type = value.getClass();
  7. 	if (type == String.class) {
  8. 		generator.writeString((String) value);
  9. 	} else if (type == Integer.class) {
  10. 		generator.writeNumber(((Integer) value).intValue());
  11. 	} else if (type == Long.class) {
  12. 		generator.writeNumber(((Long) value).longValue());
  13. 	} else if (type == Float.class) {
  14. 		generator.writeNumber(((Float) value).floatValue());
  15. 	} else if (type == Double.class) {
  16. 		generator.writeNumber(((Double) value).doubleValue());
  17. 	} else if (type == Byte.class) {
  18. 		generator.writeNumber(((Byte)value).byteValue());
  19. 	} else if (type == Short.class) {
  20. 		generator.writeNumber(((Short) value).shortValue());
  21. 	} else if (type == Boolean.class) {
  22. 		generator.writeBoolean(((Boolean) value).booleanValue());
  23. 	} else if (type == GeoPoint.class) {
  24. 		generator.writeStartObject();
  25. 		generator.writeNumberField("lat", ((GeoPoint) value).lat());
  26. 		generator.writeNumberField("lon", ((GeoPoint) value).lon());
  27. 		generator.writeEndObject();
  28. 	} else if (value instanceof Map) {
  29. 		writeMap((Map) value);
  30. 	} else if (value instanceof Path) {
  31. 		//Path implements Iterable<Path> and causes endless recursion and a StackOverFlow if treated as an Iterable here
  32. 		generator.writeString(value.toString());
  33. 	} else if (value instanceof Iterable) {
  34. 		generator.writeStartArray();
  35. 		for (Object v : (Iterable<?>) value) {
  36. 			writeValue(v);
  37. 		}
  38. 		generator.writeEndArray();
  39. 	} else if (value instanceof Object[]) {
  40. 		generator.writeStartArray();
  41. 		for (Object v : (Object[]) value) {
  42. 			writeValue(v);
  43. 		}
  44. 		generator.writeEndArray();
  45. 	} else if (type == byte[].class) {
  46. 		generator.writeBinary((byte[]) value);
  47. 	/*	注意这里：如果是Date类型，就是以字符串输出。
  48. 		如果你跟进去看。代码在下个片段。
  49. 	*/
  50. 	} else if (value instanceof Date) {
  51. 		generator.writeString(XContentBuilder.defaultDatePrinter.print(((Date) value).getTime()));
  52. 	} else if (value instanceof Calendar) {
  53. 		generator.writeString(XContentBuilder.defaultDatePrinter.print((((Calendar) value)).getTimeInMillis()));
  54. 	} else if (value instanceof ReadableInstant) {
  55. 		generator.writeString(XContentBuilder.defaultDatePrinter.print((((ReadableInstant) value)).getMillis()));
  56. 	} else if (value instanceof BytesReference) {
  57. 		BytesReference bytes = (BytesReference) value;
  58. 		if (!bytes.hasArray()) {
  59. 			bytes = bytes.toBytesArray();
  60. 		}
  61. 		generator.writeBinary(bytes.array(), bytes.arrayOffset(), bytes.length());
  62. 	} else if (value instanceof BytesRef) {
  63. 		BytesRef bytes = (BytesRef) value;
  64. 		generator.writeBinary(bytes.bytes, bytes.offset, bytes.length);
  65. 	} else if (value instanceof Text) {
  66. 		Text text = (Text) value;
  67. 		if (text.hasBytes() && text.bytes().hasArray()) {
  68. 			generator.writeUTF8String(text.bytes().array(), text.bytes().arrayOffset(), text.bytes().length());
  69. 		} else if (text.hasString()) {
  70. 			generator.writeString(text.string());
  71. 		} else {
  72. 			BytesArray bytesArray = text.bytes().toBytesArray();
  73. 			generator.writeUTF8String(bytesArray.array(), bytesArray.arrayOffset(), bytesArray.length());
  74. 		}
  75. 	} else if (value instanceof ToXContent) {
  76. 		((ToXContent) value).toXContent(this, ToXContent.EMPTY_PARAMS);
  77. 	} else if (value instanceof double[]) {
  78. 		generator.writeStartArray();
  79. 		for (double v : (double[]) value) {
  80. 			generator.writeNumber(v);
  81. 		}
  82. 		generator.writeEndArray();
  83. 	} else if (value instanceof long[]) {
  84. 		generator.writeStartArray();
  85. 		for (long v : (long[]) value) {
  86. 			generator.writeNumber(v);
  87. 		}
  88. 		generator.writeEndArray();
  89. 	} else if (value instanceof int[]) {
  90. 		generator.writeStartArray();
  91. 		for (int v : (int[]) value) {
  92. 			generator.writeNumber(v);
  93. 		}
  94. 		generator.writeEndArray();
  95. 	} else if (value instanceof float[]) {
  96. 		generator.writeStartArray();
  97. 		for (float v : (float[]) value) {
  98. 			generator.writeNumber(v);
  99. 		}
  100. 		generator.writeEndArray();
  101. 	} else if (value instanceof short[]) {
  102. 		generator.writeStartArray();
  103. 		for (short v : (short[]) value) {
  104. 			generator.writeNumber(v);
  105. 		}
  106. 		generator.writeEndArray();
  107. 	} else {
  108. 		// if this is a "value" object, like enum, DistanceUnit, ..., just toString it
  109. 		// yea, it can be misleading when toString a Java class, but really, jackson should be used in that case
  110. 		generator.writeString(value.toString());
  111. 		//throw new ElasticsearchIllegalArgumentException("type not supported for generic value conversion: " + type);
  112. 	}
  113. }

我们看下这部分：XContentBuilder.defaultDatePrinter.print(((Date) value).getTime()) 进去后。看到如下：


 
  1. /**
  2.  * Prints a millisecond instant to a String.
  3.  * <p>
  4.  * This method will use the override zone and the override chronology if
  5.  * they are set. Otherwise it will use the ISO chronology and default zone.
  6.  *
  7.  * @param instant  millis since 1970-01-01T00:00:00Z
  8.  * @return the printed result
  9.  */
  10. public String print(long instant) {
  11. 	StringBuilder buf = new StringBuilder(requirePrinter().estimatePrintedLength());
  12. 	try {
  13. 		printTo((Appendable) buf, instant);
  14. 	} catch (IOException ex) {
  15. 		// StringBuilder does not throw IOException
  16. 	}
  17. 	return buf.toString();
  18. }

看到这里就明白了吧。他最终的输出方式都是以字符串输出，只是默认的格式是：1970-01-01T00:00:00Z ，也就是默认的 UTC 格式。我的时间转换结果成：2016-07-04T03:03:12.616Z 这里并且有时区的概念，东八区，这里输出的时间少了8 个小时。这个得注意。

总结了下。最终输出都是String 类型。感觉不友好。我本想的是，我不管存入是怎么样，我取出来得是Date 对象就可以了。

官网时间（Date）格式说明

关于时间类型说明：https://www.elastic.co/guide/en/elasticsearch/reference/current/date.html 

关于时间类型格式化：https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html#strict-date-time 

JSON doesn’t have a date datatype, so dates in Elasticsearch can either be:

  • strings containing formatted dates, e.g. "2015-01-01" or "2015/01/01 12:10:30".
  • a long number representing milliseconds-since-the-epoch.
  • an integer representing seconds-since-the-epoch.

Internally, dates are converted to UTC (if the time-zone is specified) and stored as a long number representing milliseconds-since-the-epoch.

Date formats can be customised, but if no format is specified then it uses the default:


 
  1. "strict_date_optional_time||epoch_millis"

This means that it will accept dates with optional timestamps, which conform to the formats supported by strict_date_optional_time or milliseconds-since-the-epoch.

解决方法及问题：

1.时间输出格式，如果是默认 UTC  格式，时间不是我们常用的格式，而且时区问题，少了8个小时。

    解决方案：

  • 直接用毫秒值，缺点为不直观。

  • 直接设置format为你想要的格式，比如“yyyy-MM-dd HH:mm:ss” 然后存储的时候，指定格式，并且 Mapping  也是指定相同的format。
2.存储Date，和取出来也是Dete？

    解决方案：

好了上面观点纯属个人观点。可能存在错误和参杂个人色彩。请勿作为直接参考。错误的地方，请在下面留言。

Elasticsearch入门 - 简单上手
BrightMoons的博客
10-28 874
1.1ES简介 ES是使用java 语言并且基于lucence编写的搜索引擎框架，他提供了分布式的全文搜索功能，提供了一个统一的基于restful风格的web 接口。 lucence:一个搜索引擎底层 分布式：突出ES的横向扩展能力 全文检索：将一段词语进行分词，并将分出的词语统一的放在一个分词库中，再搜索时，根据关键字取分词库中检索，找到匹配的内容（倒排索引）。 restful风格的web 接口：只要发送一个http请求，并且根据请求方式的不同，携带参数的不同，执行相应的功能。 应用广泛：WIKI, gi
Elasticsearch-Date字段类型
qq_37107851的博客
08-21 1654
JSON没有日期数据类型，因此Elasticsearch中的日期可以是： 包含格式化日期的字符串，例如“2015-01-01”或“2015/01/01 12:10:30”。 表示自历元以来的毫秒数。 表示自历元（配置）起的秒数。 注意：自历元起的毫秒值必须为非负。使用格式化日期表示1970年之前的日期。 在内部，日期转换为UTC（如果指定了时区），并存储为表示自历元起毫秒数的长数字。 日期查询在内部转换为此长表示形式的范围查询，聚合和存储字段的结果根据与字段关联的日期格式转换回字符串。 注意：日
Elasticsearch date 类型详解
拜占庭GeekMake的博客
05-18 1015
elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没有date数据类型，因此 Elasticsearch 中虽然有date类型，但在展示时却要转化成另外的格式。 date类型在 Elasticsearch 展示的格式有下面几种： 将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12:10:30" long 型的整数，意义是milliseconds-since-the-epoch，翻译一下就是自1970-01-01 00:...
解决mybatis查询日期时间数据得到long类型数据的问题
Sun_of_Rainy的博客
08-01 2576
转载出处：https://blog.youkuaiyun.com/qq_29216083/article/details/77678981 使用mybatis查询数据时，如果数据库存储的是timestamp、datetime、date、time等时间类型，而Java bean也使用的是date类型，mybatis会自动将date类型转换为unix long时间eg:1503912320000，而不是时间格式...
Elasticsearch 外表
最新发布
u011250186的博客
10-28 34
Elasticsearch 外表
es7 时间说明
admin_15082037343的博客
07-01 1423
文章目录ES时间基本说明ES时间查询或者聚合函数查询 - range聚合 - dateRange聚合 - dateHistogram ES时间基本说明 ???? ES字段类型支持date（时间），值可以是毫秒数，表现为new Date().getTime()，或者已经格式化好的时间字符串（需要指定时间格式），如：2021-11-11 11:11:11 ???? ES使用的是UTC世界协调时 Internally, dates are converted to UTC (if the time-zone i
es查询时间long转date_Elasticsearch 5.x 源码分析（13）探讨ES的long_range,date_range类型，可能不仅只是语法糖...
weixin_36015177的博客
01-14 1307
好久没看书了，最近闲来无事，针对ES的range查询的一些毛刺问题，想办法如何去降低(避免是避免不了了)。无意中在ES的官网看到一篇博客，光看标题肯定就觉的吊炸天了吧。话说Elasticsearch 5.2 开始就引入了integer_range,float_range, long_range,double_range和date_range，好吧，老实说，之前从来没有关心过它。直到有一天突然想到...
Elasticsearch 入门到精通-时间日期类型
04-29 3458
日期类型（Date datatype） JSON 没有日期类型，因此在Elasticsearch中可以表达成: 日期格式化的字符串，比如: “2015-01-01” 或者 “2015/01/01 12:10:30”; 毫秒级别的 long 类型 秒级别的 integer 类型， 比如: 1515150699465, 1515150699; 实际上不管日期以何种格式写入，在 ES 内部都会先换成 UTC 时间并存储为 long 类型。 date类型在 Elasticsearch 展示的格式...
【Elasticsearch】date range聚合
risc123456的博客
02-05 972
假设你有一个日志索引`logs`，其中的`timestamp`字段记录了日志的时间戳（以 UTC 存储）。例如，如果你的数据存储在 UTC，但需要按用户所在时区进行分析，可以使用`time_zone`参数。确保`from`和`to`的日期格式与`format`参数一致。虽然`date_range`聚合在 Elasticsearch 中是高效的，但在处理大量数据时，仍需注意性能影响。`date_range`聚合非常适合按时间段分析数据，例如按月、按季度或按年分析销售数据、用户活动等。
【Elasticsearch】Elasticsearch 在 Date Histogram Aggregation 中使用 painless 转换时间的时间进行统计直方图
程序员作家
05-25 1029
Date Histogram Aggregation日期直方图，这时候就需要用到ES为我们提供的一个很不错的高级特性，Script和painless数据统计
mybatis中格式为DateTime或者Date，json格式会转成long类型的解决方案
weixin_33946020的博客
04-28 1913
2019独角兽企业重金招聘Python工程师标准>>> ...
ES报错：illegal_argument_exception
海若_matrix的博客
06-13 3万+
1.场景描述 ES中创建映射 PUT /usertag/_doc/_mapping?pretty { "_doc": { "properties": { "memberId": { "type": "text", "fields": { "keyword": { "type": "keyword" } } }, "phone": { ..
nested exception is java.lang.IllegalArgumentException处理
热门推荐
m0_46909817的博客
08-11 5万+
在springboot项目的开发过程中，也许你会遇到这种操蛋的情况—— 当你使用@Value注解正用得美滋滋的时候，你尝试启动项目，却报nested exception is java.lang.IllegalArgumentException。就像这样。 application.properties文件中你是这样写的 service层中你是这样写的 pom文件中你也如下写了 但是，就是报nested exception is java.lang.IllegalArgumentEx...
Elasticsearch中的date与时区问题
不见其长，日有所长
06-23 1万+
1 前言 本文主要讲解Elasticsearch中date类型数据的底层存储原理，以及对带时区日期字符串和不带时区的日期字符串如何在ES底层存储进行验证。对于直接存储Long类型时间戳，不作过多描述。 1.1 Date类型数据的存储 UTC(Universal Time Coordinated) 叫做世界统一时间，中国大陆所用的时间是东8区时间，比UTC时间超前8小时。即与 UTC 的时差是 +8 ,也就是 UTC+8。 在Elasticsearch内部，不论 date 是什么展示格式，所有date类型数据
ElasticSearch es 插件开发
2501_90252573的博客
01-17 1318
扩展es的安全策略，比如控制api的访问权限等优秀插件代表：X-Pack扩展es的快照和恢复功能扩展es的存储方式，es默认使用的是Lucene存储数据的。
elasticsearch 之时间类型
web15085599741的博客
08-16 1272
date 类型的查询在内部转为 long 处理，聚合返回的结果再根据字段定义的格式转为字符串输出。实际上不管日期以何种格式写入，在 ES 内部都会先换成 UTC 时间并存储为 long 类型。日期将始终呈现为字符串，即使它们最初是在 JSON 文档中作为 long 串提供的。比如: 1515150699465, 1515150699;注：sort 返回为数组，值均为毫秒时间戳。...
Elasticsearch Date类型数据默认格式：将数据写入es的时间后再读取出来缺少8小时原因
AI_girls的博客
06-26 3万+
一、问题描述把想要的数据通过同步工具从MySQL中写入es中存储，然后从搜索后台管理系统读取数据列表，发现时间显示比数据库中显示的时间要提前8小时。二、问题分析首先在索引里面查看了时间数据的存储格式为世界时间，默认是0时区，但是我们一般用的是北京时间东八区，因此间隔了八小时。直接转过来的时间是：但实际上数据库里面存储的时间是：我们需要最终显示的是时间是和存在数据库中的北京时间一致。搜索的数据来源于...
Elasticsearch Date类型使用技巧
weixin_34203426的博客
09-28 565
elasticsearch原生支持date类型。这里简单记录下使用的方法。 使用date类型可以用如下两种方式： 使用毫秒的时间戳，直接将毫秒值传入即可。 传入格式化的字符串，默认是ISO 8601标准，例如2015-02-27T00:07Z(零时区)、2015-02-27T08:07+08:00(东八区),这两个时间实际是同一个，只是时区不同。另外还可以自定义时间格式，参见es的文档。但...
elasticsearch中date类型的字段如何映射到java实体
12-31
上述代码展示了如何创建一个简单的Java实体类来表示存储于Elasticsearch索引内的文档，并指定了名为`createdDate`的字段作为日期类型的实例[^1]。 对于更复杂的场景，可能还需要调整应用程序或Elasticsearch服务端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值