大数据之-Hadoop3.x_MapReduce_序列化概述---大数据之hadoop3.x工作笔记0094

本文介绍了Hadoop中的序列化和反序列化过程,对比了Hadoop序列化与Java序列化在效率和数据包大小上的差异。Hadoop的序列化机制减少了数据包大小,提高了数据传输速度。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

然后我们再来看一下hadoop中的序列化,可以看到

序列化其实就是把内存中的对象,比如我们一个user对象,转换成字节码序列对吧,

这个字节码,其实就一个一个的byte,这样的数据就可以存到磁盘上了,并且也可以

在网络中进行传输了。

    而反序列化就是把存在磁盘上的user对象,再通过反序列化转换过来成一个user对象,

加载到内存中使用对吧。这样就完成了序列化和反序列化

我们去看看hadoop的这个序列化和反序列化的过程。

可以看到比如我们有个hadoop102,hadoop103这两个集群中的机器,我们

有个ss字符串,有个cls字符串,这两个字符串,现在在hadoop102内存中,然后

如果我们需要把ss,cls这个两个字符串传输到龄一个hadoop103机器上

这个时候,我们需要先把ss,cls这两个内存中的字符串,转换成字节码,比如

转换成一个个的byte数据,这个过程是序列化,然后这个byte数据,就可以存在

磁盘上了,也可

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值