Hive Storage Handler入门和实战

最新推荐文章于 2024-07-23 18:00:00 发布

原创

最新推荐文章于 2024-07-23 18:00:00 发布 · 4.6k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#Hive

本文介绍了Hive Storage Handler的用途，允许通过SQL读写外部数据源如Kafka，降低了非专业开发人员查询数据的难度。文章详细阐述了Storage Handler的原理，包括InputFormat、OutputFormat和SerDe的作用，并分享了实现Kafka Storage Handler时面临的问题及解决方案，如消息反序列化、Mapper与Partition的关系、Offset管理以及选择Hive的AvroSerDe。

为什么要有Storage Handler

引入Storage Handler，Hive用户使用SQL可读写外部数据源。ElasticSearch, Kafka，HBase等数据源的查询对非专业开发是有一定门槛的，借助Storage Handler，他们有了一种方便快捷的手段查询数据。另外，Hive作为数仓的核心组件，借助Storage Handler，数据导入导出可以统一以SQL实现，减少了大数据开发维护的技术栈。

Storage Handler的使用

1. 用Java实现HiveStorageHandler接口，并将Jar包加入Hive classpath。

2. 创建外部表(External Table)，且STORED BY 声明为第一步开发的类。

3. 使用HiveSQL操作外部表

Storage Handler的原理

先介绍一点预备知识：
1. InputFormat: getSplits()和getRecordReader(). MR框架根据getSplits()生成若干个Mapper, splits : mapper = 1: 1。一个HDFS文件，可能会有多个splits。getRecordReader()返回的RecordReader负责split的二进制数据转化为实现Writable接口的类实例。

Input Split