解决elasticsearch -在Hive external table 无法读取 date 字段

最新推荐文章于 2024-10-11 15:58:11 发布

原创最新推荐文章于 2024-10-11 15:58:11 发布 · 2.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#hive

hive 专栏收录该内容

3 篇文章

订阅专栏

本文介绍在Elasticsearch中使用日期字段时遇到的问题及解决方案。当在Hive外部表中使用@timestamp字段并尝试将其设置为date类型时，会触发ClassCastException异常。文章提供了解决方案，即将date类型更改为timestamp。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.问题描述

对于@timestamp字段，在es中类型为date，创建hive外表时如果使用类型仍为date,操作时会报如下错误

Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.apache.hadoop.hive.serde2.io.TimestampWritable cannot be cast to org.apache.hadoop.hive.serde2.io.DateWritable

2.解决办法

将date类型改为timestamp即可，例如:
CREATE EXTERNAL TABLE ext3 (run_date timestamp) ROW FORMAT SERDE 'org.elasticsearch.hadoop.hive.EsSerDe' STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'dfs/ext3', 'es.field.read.empty.as.null' = 'true','es.nodes'=);

参考：http://www.itkeyword.com/doc/6573413286728074561/unable-to-query-date-field-in-hive-external-table

https://www.iteblog.com/archives/892.html