Hadoop
文章平均质量分 96
daybreak98
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据学习——MapReduce
具体实现bean对象序列化步骤如下。(1)实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造(3)重写序列化和反序列化方法,同时要求顺序一致(4)如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序。默认分区通过key的hashCode对ReduceTask个数取模得到。原创 2023-05-17 21:39:54 · 11249 阅读 · 0 评论 -
大数据学习——HDFS
HDFS是一种分布式文件管理系统,适合一次写入,多次读出的场景。原创 2023-04-29 18:42:49 · 1631 阅读 · 2 评论
分享