Hive 资料整理系列 五 Hive-0.5中SerDe概述

最新推荐文章于 2025-07-14 21:00:27 发布
最新推荐文章于 2025-07-14 21:00:27 发布
阅读量95 收藏 1
点赞数
文章标签： java 大数据 shell
本文详细介绍了Hive中的反序列化原理及应用，包括如何通过自定义序列化类实现数据的高效加载与处理，特别针对大规模数据场景下的时间、用户ID、主机名与路径等字段的划分与解析进行了深入探讨。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、背景

1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。

2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。

3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量数据时可以节省大量的时间。

二、技术细节

1、SerDe是Serialize/Deserilize的简称，目的是用于序列化和反序列化。

2、用户在建表时可以用自定义的SerDe或使用Hive自带的SerDe，SerDe能为表指定列，且对列指定相应的数据。

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS] [ROW FORMAT row_format] [STORED AS file_format] [LOCATION hdfs_path]

创建指定SerDe表时，使用row format row_format参数，例如：

a、添加jar包。在hive客户端输入：hive>add jar /run/serde_test.jar; 或者在linux shell端执行命令：${HIVE_HOME}/bin/hive -auxpath /run/serde_test.jar b、建表：create table serde_table row format serde 'hive.connect.TestDeserializer';

3、编写序列化类TestDeserializer。实现Deserializer接口的三个函数：

a）初始化：initialize(Configuration conf, Properties tb1)。

b）反序列化Writable类型返回Object:deserialize(Writable blob)。

c）获取deserialize(Writable blob)返回值Object的inspector:getObjectInspector()。


[java] view plain copy print ?
  1. packagecom.sina.hive.test;
  4. importjava.util.Properties;
  6. importorg.apache.hadoop.conf.Configuration;
  7. importorg.apache.hadoop.hive.serde2.SerDeException;
  8. importorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
  9. importorg.apache.hadoop.io.Writable;
  11. publicinterfaceDeserializer{
  12. /**
  13. **InitializetheHiveDeserializer.*@paramconfSystemproperties*@param
  14. *tbltableproperties*@throwsSerDeException
  15. */
  16. publicvoidinitialize(Configurationconf,Propertiestbl)
  17. throwsSerDeException;
  19. /**
  20. **DeserializeanobjectoutofaWritableblob.*Inmostcases,the
  21. *returnvalueofthisfunctionwillbeconstantsincethefunction*will
  22. *reusethereturnedobject.*Iftheclientwantstokeepacopyofthe
  23. *object,theclientneedstoclonethe*returnedvaluebycalling
  24. *ObjectInspectorUtils.getStandardObject().*@paramblobTheWritable
  25. *objectcontainingaserializedobject*@returnAJavaobjectrepresenting
  26. *thecontentsintheblob.
  27. */
  28. publicObjectdeserialize(Writableblob)throwsSerDeException;
  30. /**
  31. **Gettheobjectinspectorthatcanbeusedtonavigatethroughthe
  32. *internal*structureoftheObjectreturnedfromdeserialize(...).
  33. */
  34. publicObjectInspectorgetObjectInspector()throwsSerDeException;
  35. }
package com.sina.hive.test;


import java.util.Properties;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hive.serde2.SerDeException;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.io.Writable;

public interface Deserializer {
	/**
	 * * Initialize the HiveDeserializer. * @param conf System properties * @param
	 * tbl table properties * @throws SerDeException
	 */
	public void initialize(Configuration conf, Properties tbl)
			throws SerDeException;

	/**
	 * * Deserialize an object out of a Writable blob. * In most cases, the
	 * return value of this function will be constant since the function * will
	 * reuse the returned object. * If the client wants to keep a copy of the
	 * object, the client needs to clone the * returned value by calling
	 * ObjectInspectorUtils.getStandardObject(). * @param blob The Writable
	 * object containing a serialized object * @return A Java object representing
	 * the contents in the blob.
	 */
	public Object deserialize(Writable blob) throws SerDeException;

	/**
	 * * Get the object inspector that can be used to navigate through the
	 * internal * structure of the Object returned from deserialize(...).
	 */
	public ObjectInspector getObjectInspector() throws SerDeException;
}

实现一行数据划分成hive表的time,userid,host,path四个字段的反序列化类。例如：

[java] view plain copy print ?
  1. packagecom.sina.hive.test;
  3. importjava.net.MalformedURLException;
  4. importjava.net.URL;
  5. importjava.util.ArrayList;
  6. importjava.util.List;
  7. importjava.util.Properties;
  8. importorg.apache.hadoop.conf.Configuration;
  9. importorg.apache.hadoop.hive.serde2.Deserializer;
  10. importorg.apache.hadoop.hive.serde2.SerDeException;
  11. importorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
  12. importorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
  13. importorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory.ObjectInspectorOptions;
  14. importorg.apache.hadoop.io.Text;
  15. importorg.apache.hadoop.io.Writable;
  17. publicclassTestDeserializerimplementsDeserializer{
  18. privatestaticList<String>FieldNames=newArrayList<String>();
  19. privatestaticList<ObjectInspector>FieldNamesObjectInspectors=newArrayList<ObjectInspector>();
  20. static{
  21. FieldNames.add("time");
  22. FieldNamesObjectInspectors.add(ObjectInspectorFactory
  23. .getReflectionObjectInspector(Long.class,
  24. ObjectInspectorOptions.JAVA));
  25. FieldNames.add("userid");
  26. FieldNamesObjectInspectors.add(ObjectInspectorFactory
  27. .getReflectionObjectInspector(Integer.class,
  28. ObjectInspectorOptions.JAVA));
  29. FieldNames.add("host");
  30. FieldNamesObjectInspectors.add(ObjectInspectorFactory
  31. .getReflectionObjectInspector(String.class,
  32. ObjectInspectorOptions.JAVA));
  33. FieldNames.add("path");
  34. FieldNamesObjectInspectors.add(ObjectInspectorFactory
  35. .getReflectionObjectInspector(String.class,
  36. ObjectInspectorOptions.JAVA));
  37. }
  39. @Override
  40. publicObjectdeserialize(Writableblob){
  41. try{
  42. if(blobinstanceofText){
  43. Stringline=((Text)blob).toString();
  44. if(line==null)
  45. returnnull;
  46. String[]field=line.split("/t");
  47. if(field.length!=3){
  48. returnnull;
  49. }
  50. List<Object>result=newArrayList<Object>();
  51. URLurl=newURL(field[2]);
  52. Longtime=Long.valueOf(field[0]);
  53. Integeruserid=Integer.valueOf(field[1]);
  54. result.add(time);
  55. result.add(userid);
  56. result.add(url.getHost());
  57. result.add(url.getPath());
  58. returnresult;
  59. }
  60. }catch(MalformedURLExceptione){
  61. e.printStackTrace();
  62. }
  63. returnnull;
  64. }
  66. @Override
  67. publicObjectInspectorgetObjectInspector()throwsSerDeException{
  68. returnObjectInspectorFactory.getStandardStructObjectInspector(
  69. FieldNames,FieldNamesObjectInspectors);
  70. }
  72. @Override
  73. publicvoidinitialize(Configurationarg0,Propertiesarg1)
  74. throwsSerDeException{
  75. }
  76. }
package com.sina.hive.test;

import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.Properties;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hive.serde2.Deserializer;
import org.apache.hadoop.hive.serde2.SerDeException;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory.ObjectInspectorOptions;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.Writable;

public class TestDeserializer implements Deserializer {
	private static List<String> FieldNames = new ArrayList<String>();
	private static List<ObjectInspector> FieldNamesObjectInspectors = new ArrayList<ObjectInspector>();
	static {
		FieldNames.add("time");
		FieldNamesObjectInspectors.add(ObjectInspectorFactory
				.getReflectionObjectInspector(Long.class,
						ObjectInspectorOptions.JAVA));
		FieldNames.add("userid");
		FieldNamesObjectInspectors.add(ObjectInspectorFactory
				.getReflectionObjectInspector(Integer.class,
						ObjectInspectorOptions.JAVA));
		FieldNames.add("host");
		FieldNamesObjectInspectors.add(ObjectInspectorFactory
				.getReflectionObjectInspector(String.class,
						ObjectInspectorOptions.JAVA));
		FieldNames.add("path");
		FieldNamesObjectInspectors.add(ObjectInspectorFactory
				.getReflectionObjectInspector(String.class,
						ObjectInspectorOptions.JAVA));
	}

	@Override
	public Object deserialize(Writable blob) {
		try {
			if (blob instanceof Text) {
				String line = ((Text) blob).toString();
				if (line == null)
					return null;
				String[] field = line.split("/t");
				if (field.length != 3) {
					return null;
				}
				List<Object> result = new ArrayList<Object>();
				URL url = new URL(field[2]);
				Long time = Long.valueOf(field[0]);
				Integer userid = Integer.valueOf(field[1]);
				result.add(time);
				result.add(userid);
				result.add(url.getHost());
				result.add(url.getPath());
				return result;
			}
		} catch (MalformedURLException e) {
			e.printStackTrace();
		}
		return null;
	}

	@Override
	public ObjectInspector getObjectInspector() throws SerDeException {
		return ObjectInspectorFactory.getStandardStructObjectInspector(
				FieldNames, FieldNamesObjectInspectors);
	}

	@Override
	public void initialize(Configuration arg0, Properties arg1)
			throws SerDeException {
	}
}


测试HDFS上hive表数据，如下为一条测试数据：

1234567891012 123456http://wiki.apache.org/hadoop/Hive/LanguageManual/UDF

hive> add jar /run/jar/merg_hua.jar; Added /run/jar/merg_hua.jar toclasspath hive> create table serde_table row format serde 'hive.connect.TestDeserializer'; Foundclassforhive.connect.TestDeserializer OK Time taken: 0.028 seconds hive> describe serde_table; OK time bigint from deserializer useridintfrom deserializer host string from deserializer path string from deserializer Time taken: 0.042 seconds hive> select * from serde_table; OK 1234567891012 123456 wiki.apache.org /hadoop/Hive/LanguageManual/UDF Time taken: 0.039 seconds
三、总结

1、创建Hive表使用序列化时，需要自写一个实现Deserializer的类，并且选用create命令的row format参数。

2、在处理海量数据的时候，如果数据的格式与表结构吻合，可以用到Hive的反序列化而不需要对数据进行转换，可以节省大量的时间。

iteye_11539
关注
【大数据之路5-1】数据仓库工具 Hive
程序员五哥
06-09 1468
大数据：历史数据，预测未来Hive 由 FaceBook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL（Hive SQL）查询 功能，底层数据存储在 HDFS 上。Hive 的本质是将 HQL 语句转换为 MapReduce 任务运行，使不熟悉 MapReduce 的用户很方便的使用 HQL 处理和计算 HDFS 上结构化的数据，适用于离线的批量数据计算。分条：基于 Hadoop：Hive 依赖于 HDFS 存储数据，Hive 将 HQL 转换成
Hive官方使用手册——DDL使用说明
三米学习笔记杂货铺
03-28 4188
本文为自己翻译的译文，原文地址：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDLHive官方使用手册——DDL使用说明Hive Data Definition Language概述这里是HiveQL DDL语法说明文档 包括:CREATE DATABASE/SCHEMA, TABLE, VIEW, FUNCTIO...
hive之SerDe概述
nuoline的专栏
02-25 951
1.概述     当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。Hive的反序列化是对key/value反序列化成hive table的每个列的值。Hive可以方便的将数据加载到表中而不需要对数据进行转换，这样在处理海量
Hive 中SerDe概述
远有青山
08-28 3430
一、背景 1、当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。 2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。 3、Hive可以方便的将数据加载到表中而不需要对数据进行转换，
Hive中文注释乱码解决方案（2）
weixin_33860147的博客
10-16 433
本文来自网易云社区作者：王潘安执行阶段launchTask 回到Driver类的runInternal方法，看以下执行过程。在runInternal方法中，执行过程调用了execute方法。execute方法里面的内容很多，但是跟我们有关系的就只有launchTask方法。这个方法里面有这么关键的几步： tsk.initialize(conf, plan, cxt); Tas...
Hive中文注释乱码解决方案
网易数帆社区博客
10-16 1855
本文来自网易云社区作者：王潘安快速解决方法目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决...
MapReduce与Hadoop生态无缝集成：Hive和Pig高级应用技巧
模型中主要包含两个阶段：Map阶段和Reduce阶段。Map阶段处理输入数据，生成中间键值对；Reduce阶段则对中间键值对进行合并，输出最终结果。该模型便于并行处理，是Hadoop等大数据框架的核心。 ## 1.2 MapReduce执行...
数据分析大数据面试题大杂烩02
GavinKai
03-09 2589
Map端会处理输入数据并产生中间结果,这个中间结果会写到本地磁盘,每个Map的输出会先写到内存缓冲区中,当写入的数据达到设定的阈值时,系统将会启动一个线程将缓冲区的数据写到磁盘,这个过程叫做spill(spill写入之前,会先进行二次排序,首先根据数据所属的partition进行排序,然后每个partition中的数据再按key来排序 . partition的目是将记录划分到不同的Reducer上去,以期望能够达到负载均衡,以后的Reducer就会根据partition来读取自己对应的数据 . 接着运行co
2021-02-08/09 大数据课程笔记 day19day20 某大型网站日志分析离线系统
qq_44745905的博客
02-10 5068
@R星校长 某大型网站日志分析离线系统 项目需求分析 概述 该部分的主要目标就是描述本次项目最终七个分析模块的界面展示。 工作流   在我们的 demo 展示中，我们使用 jquery+echarts 的方式调用程序后台提供的 rest api 接口，获取 json 数据，然后通过 jquery+css 的方式进行数据展示。工作流程如下： 分析 总述 在本次项目中我们分别从七个大的角度来进行分析，分别为： 用户基本信息分析模块 浏览器信息分析模块 地域信息分析模块 用户浏览深度分析模块 外链数据分析模块 .
2021-07-20
weixin_44843098的博客
07-20 221
快速解决方法 目前的hive客户端在执行desc tablexxx和show create table xxx命令的时候，字段的中文注释会出现乱码情况，如(????)。在使用　ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'　建表的时候，注释则会出现from deserializer。以下几个步骤可以帮你快速解决这些问题： 问题表现： 解决办法： １．首先在hive客户端的conf目录下找到hive-site.xml配置文件，查询本机hi
hive中解决中文乱码
weixin_33881050的博客
09-03 1403
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为  jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfNotExist=true ③普通情况下咱们的mysql默认编码是latin1,但是我们在日常...
hive数据写入elasticsearch
weixin_34081595的博客
11-14 616
2019独角兽企业重金招聘Python工程师标准>>> ...
hive之SerDe
ludanatong的博客
02-20 503
hive之SerDe Table of Contents 1. 什么是SerDe 2. 序列化方式 3. 序列化的使用 3.1. 建表时指定序列化方式 1 什么是SerDe SerDe 是两个单词的拼写 serialized(序列化) 和 deserialized(反序列化)。 什么是序列化和反序列化呢？ 当进程在进行远程通信时，彼此可以发送各种类型的数据，无论是什么类型的数据都会以 二进制序列的形式在网络上传送。发送方需要把对象转化为字节序列才可在网络上传输， 称为对象序列化；接收.
Hive_10. Hive中常用的 SerDe 和 当前社区的状态
热门推荐
Mike han
12-03 1万+
最近在 Google 上看到一篇在 Hive 中利用正则表达式来自定义反序列化处理文本文件。百度后发现这块知识目前还没有人系统的总结一下。 所以我就不才把之前记录的资料跟大家分享一下： SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。为了更好的阐述使用 SerDe 的场景，我们需要了解一下 Hi
Java Stream流详解
最新发布
Broken_x的博客
07-14 1152
Java Stream流详解：从基础到原理 摘要 Java 8引入的Stream流是集合操作的函数式抽象，通过无存储、惰性计算等特性，构建高效的数据处理流水线。Stream解决了传统集合操作的三大痛点：简化代码（消除迭代样板）、提升可读性（声明式编程）、支持并行计算（Fork/Join框架）。使用流程分为创建Stream、中间操作（如filter/map）和终端操作（如collect/reduce）三步，支持链式调用和延迟执行。Stream API统一了不同数据源的处理方式，其底层通过Spliterator
垃圾收集器-Serial
持续输出Java相关知识
07-13 705
Serial 垃圾收集器是 HotSpot JVM 中一种单线程、stop-the-world的垃圾收集器，适用于客户端应用或内存受限环境。它同时管理年轻代和老年代：年轻代使用复制算法高效处理短生命周期对象，老年代采用标记-整理算法 回收长生命周期对象。 其主要优势在于简单性和低开销，适合小型应用或无需多线程的场景。由于单线程设计，它在资源占用上非常轻量，内存足迹小。然而，这也带来局限性：暂停时间较长，不适合大型或对延迟敏感的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值