Hadoop中的序列化和反序列化

本文介绍了Hadoop中的序列化和反序列化概念,包括将内存对象转化为字节序列以利于存储和传输的过程,以及反序列化的转换回内存对象。由于Java序列化效率不高,Hadoop开发了自己的序列化机制——Writable,该机制特点在于紧凑、快速、可扩展和互操作性强。此外,文章还探讨了Hadoop中常见的序列化类型。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.什么是序列化和反序列化

    序列化就是把内存中的对象,转换成字节序列或其他数据传输协议,以便于存储和网络传输。

    反序列化就是将收到的字节序列或其他网络传输协议和硬盘的持久化数据,转换成内存中的对象。

2.为什么不使用Java的序列化?

    因为Java的序列化是一个重量的序列化,一个对象被序列化之后,附带了很多额外的信息(检验码,继承体系等),不便于在网络中高效传输,所以hadoop自己开发了一套序列化机制(Writable)

3.hadoop序列化的特点?

    紧凑:可以充分利用网络带宽

    快速:读写数据的额外开销小

    可扩展:可以随着通信的升级而升级

   互操作:支持多语言写的客户端和服务端进行交互

4.hadoop中常见的序列化类型

Java类型

Hadoop Writable类型

boolean

BooleanWritable

byte

ByteWritable

int

IntWritable

float

FloatWritable

long

LongWritable

double

DoubleWritable

String

Text

map

MapWritable

array

ArrayWritable

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值