Spark 数据写入ES日期类型自动转换,在es中自动保存为date类型?

本文介绍在使用Spark写入数据到Elasticsearch时,如何通过将时间戳格式化为UTC格式,使ES自动将其映射为date类型,避免了手动创建mapping的步骤,同时确保了数据在Grafana中的正确显示。

spark中数据写入es, 数据自动mapping 的时候,es会把时间戳转换为long, 如果是 yyyy-MM-dd HH:mm:ss 格式的则会转换为为text 类型。

折腾两天,发现如果写入数据之前,将时间戳格式化为、UTC格式的时间,再写入ES,则ES会自动mapping为date类型。

为什么要ES mapping这个字段为date类型呢?一个是不想写入局之前先往ES中手动建立mapping, 一个是 ES中数据会在grafana中使用,grafana中需要选择一个字段作为时间戳字段,必须为date类型。

具体UTC格式为 类似 2020-05-11T14:44:24.000+08:00  特此记录一下。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值