Hive Storage Handler入门和实战

本文介绍了Hive Storage Handler的用途,允许通过SQL读写外部数据源如Kafka,降低了非专业开发人员查询数据的难度。文章详细阐述了Storage Handler的原理,包括InputFormat、OutputFormat和SerDe的作用,并分享了实现Kafka Storage Handler时面临的问题及解决方案,如消息反序列化、Mapper与Partition的关系、Offset管理以及选择Hive的AvroSerDe。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

为什么要有Storage Handler

引入Storage Handler,Hive用户使用SQL可读写外部数据源。ElasticSearch, Kafka,HBase等数据源的查询对非专业开发是有一定门槛的,借助Storage Handler,他们有了一种方便快捷的手段查询数据。另外,Hive作为数仓的核心组件,借助Storage Handler,数据导入导出可以统一以SQL实现,减少了大数据开发维护的技术栈。

Storage Handler的使用

1. 用Java实现HiveStorageHandler接口,并将Jar包加入Hive classpath。

2. 创建外部表(External Table),且STORED BY 声明为第一步开发的类。

3. 使用HiveSQL操作外部表

 

Storage Handler的原理

先介绍一点预备知识:
1. InputFormat: getSplits()和getRecordReader(). MR框架根据getSplits()生成若干个Mapper, splits : mapper = 1: 1。一个HDFS文件,可能会有多个splits。getRecordReader()返回的RecordReader负责split的二进制数据转化为实现Writable接口的类实例。

Input Split

2. OutputFormat:与InputFormat处理数据的方向相反。

3. SerDe: Hive的序列化/反序列化器,完成Hive “Row”(Java Object)和Readabale/Writab

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值