hadoop
关注
分享
扫一扫
tech_chenlongzhen
博学慎思,明辨笃行.
[gihub: https://github.com/chenlongzhen]
[原博客不再更新: http://blog.youkuaiyun.com/sadfasdgaaaasdfa]
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】
wordCount /** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/WordCount. */ package chapter1; import java.io.IOException; import java.util.St原创 2018-01-19 14:45:06 · 240 阅读 · 0 评论 -
mapreduce入门 note2 【mapreduce标准流程|】
mapreduce标准流程 InputFormat读取HDFS得到数据，并解析为key-value格式以供map函数使用 InputFormat同时perform（不知道怎么翻译，不是很理解）数据逻辑分区为Map task提供计算 标准的MR计算会对每个HDFS块创建Map 任务 combine（参见note 1） Partitioner step：每个partitioner是按照key原创 2018-01-19 14:45:42 · 573 阅读 · 0 评论