
hadoop
文章平均质量分 88
左VJ
其实,工作也挺有趣的。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop进阶之MR中MapTask并行度决定机制及切片机制
前言 mapTask并行度的决定机制 FileInputFormat切片机制 切片定义在InputFormat类中的getSplit方法 FileInputFormat中默认的切片机制 FileInputFormat中切片的大小的参数配置 map并行度的经验之谈 ReduceTask并行度的决定 前言 maptask的并行度决定map阶段的任务处理并发度,进而影响到整个j原创 2018-01-15 17:51:31 · 3175 阅读 · 0 评论 -
Hadoop进阶之MapReduce编程模型简介和总结
本文转载修改自《MapReduce编程模型简介和总结》 https://www.cnblogs.com/mmaa/p/5789911.html InputFormat OutputFormat Mapper和Reducer Partitioner MapReduce应用广泛的原因之一就是其易用性,提供了一个高度抽象化而变得非常简单的编程模型,它是在总结大量应用的共同特点的基础转载 2018-01-16 11:20:17 · 4013 阅读 · 0 评论 -
Hadoop进阶之读写文件内部工作机制
转载修改自《Hadoop读写文件时内部工作机制》 https://www.cnblogs.com/beanmoon/archive/2012/12/17/2821548.html 读文件 Hadoop中的网络拓扑 写文件 replica是如何分布的 读文件 读文件时内部工作机制参看下图 具体流程 1. 客户端通过调用FileSystem对象(对应于HD转载 2018-01-15 10:16:25 · 1536 阅读 · 0 评论