Hive To ES简单记录

和谐社区

于 2018-08-13 11:44:31 发布

阅读量2.5k

点赞数 2

文章标签： Hive elasticsearch es

本文链接：https://blog.youkuaiyun.com/chinagrowing/article/details/81626292

版权

本文详细记录了将Hive表数据迁移到Elasticsearch（ES）6.0.0的过程，包括遇到的挑战及解决方案。首先，介绍了迁移的目的，然后讲述了将jarelasticsearch-hadoop-6.0.0.jar上传至HDFS，并构建Hive表与ES索引的映射。在数据写入过程中，遇到了'unknown es version 6.0.0'错误，原因是JAR版本与ES版本不匹配，解决办法是检查并确保JAR版本与ES版本一致。此外，还解决了因多版本JAR冲突导致的问题，建议删除多余JAR并使用高版本JAR应对不同ES集群的需求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的

将hive表中的数据写入到es(6.0.0)以供查询。

流程

将对应版本jar 包 jarelasticsearch-hadoop-6.0.0.jar放在hdfs目录下。

创建hive表, 构造hive table 与es 索引的映射

CREATE EXTERNAL TABLE `bi.es_hive_extra_test`(
  `id` string COMMENT 'from deserializer', 
  `name` string COMMENT 'from deserializer', 
  `age` bigint COMMENT 'from deserializer'
)
STORED BY 
  'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='false', 
  'es.index.auto.create'='true', 
  'es.mapping.id'='id', 
  'es.nodes'='10.110.110.110', 
  'es.nodes.wan.only'='false',
  'es.port'='9200', 
  'es.resource'='es_hive_extr

最低0.47元/天解锁文章