spark中数据写入es, 数据自动mapping 的时候,es会把时间戳转换为long, 如果是 yyyy-MM-dd HH:mm:ss 格式的则会转换为为text 类型。
折腾两天,发现如果写入数据之前,将时间戳格式化为、UTC格式的时间,再写入ES,则ES会自动mapping为date类型。
为什么要ES mapping这个字段为date类型呢?一个是不想写入局之前先往ES中手动建立mapping, 一个是 ES中数据会在grafana中使用,grafana中需要选择一个字段作为时间戳字段,必须为date类型。
具体UTC格式为 类似 2020-05-11T14:44:24.000+08:00 特此记录一下。
本文介绍在使用Spark写入数据到Elasticsearch时,如何通过将时间戳格式化为UTC格式,使ES自动将其映射为date类型,避免了手动创建mapping的步骤,同时确保了数据在Grafana中的正确显示。
3207

被折叠的 条评论
为什么被折叠?



