hadoop
关注
分享
扫一扫
文章平均质量分 67
jeremyxn
这个作者很懒，什么都没留下…
展开
-
随手记点-mapreduce5
随手记点maprereduce, reduce基本框架概述。原创 2016-03-23 00:21:52 · 365 阅读 · 0 评论 -
Yarn调度研究
YARN基本组成结构YARN通信协议YARN工作流程YARN分布式缓存原创 2017-04-06 09:55:29 · 639 阅读 · 0 评论 -
MapOutputBuffer理解（下）
mapoutbuffer的源码理解原创 2016-04-26 11:33:24 · 458 阅读 · 0 评论 -
MapOutputBuffer理解（上）
MapOutputBuffer详细分析原创 2016-04-07 09:46:29 · 1223 阅读 · 0 评论 -
随手记点-mapreduce4
随手记点mapreduce，map阶段中shuffle过程的分析。原创 2016-03-16 23:20:34 · 342 阅读 · 0 评论 -
随手记点-mapreduce2
随手记点mapreduce，map阶段的总体概况。原创 2016-03-22 11:56:20 · 315 阅读 · 0 评论 -
随手记点-mapreduce3
随手记点mapreduce，mapper过程的详细分析。原创 2016-03-13 12:10:49 · 385 阅读 · 0 评论 -
随手记点-mapreduce1
随手记点mapreduce，总体介绍mapreduce的基本框架。原创 2016-03-11 17:20:10 · 430 阅读 · 0 评论 -
MapReduce Shuffle性能调优
从map和reduce两个方面讲解shuffle的性能调优过程。原创 2016-03-09 22:45:14 · 3768 阅读 · 0 评论 -
wordcount运行各类问题解答
解决wordcount在程序运作期间可能会出现的各类问题原创 2016-02-21 12:00:56 · 509 阅读 · 0 评论 -
MapReduce Shuffle过程分析
MapReduce中的Shuffle过程是洗牌的逆过程，是将无规律的数据进行一定的规律化。Shuffle过程横跨了MapRdeduce的Map端和Reduce端两个过程，描述的是数据从Map输出到Reduce输入的中间变化过程。原创 2016-03-09 22:36:31 · 1272 阅读 · 0 评论 -
随手记点-mapreduce6
随手记点mapreduce-reduce和merge过程分析原创 2016-03-29 17:10:09 · 386 阅读 · 0 评论 -
HDFS研究
1. HDFS的组成部分及各部分职责？Client： 调用HDFS API操作文件；与NN交互，进行文件元数据的操作，获取文件元数据；与DN交互，数据读写。NN： 唯一管理者，管理元数据（保存和管理文件系统的命名空间，包括目录树、文件和目录的元数据（数据以fsimage和editlog两个文件形式存放在本地磁盘）&&保存和构造文件与数据块所占DN的对应关系）；与Client交互，文件操原创 2017-04-21 10:08:48 · 716 阅读 · 0 评论