tasktrack
关注
分享
扫一扫
天边tbdp
一个码农，从业后端数十载
展开
-
Hadoop之MapReduce 分析
摘要：MapReduce是Hadoop的又一核心模块，从MapReduce是什么，MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。 关键词：Hadoop MapReduce 分布式处理 面对大数据，大数据的存储和处理，就好比一个人的左右手，显得尤为重要。Hadoop比较适合解决大数据问题，很大程度上依赖其大数据存储系统，即HDFS和大数据转载 2014-06-05 15:46:21 · 841 阅读 · 0 评论 -
Hadoop之MapReduce框架心跳机制分析
1、概述 MapReduce框架中的master/slave心跳机制是整个集群运作的基础，是沟通TaskTracker和JobTracker的桥梁。TaskTracker周期性地调用心跳RPC函数，汇报节点和任务运行状态信息。MapReduce框架中通过心跳机制可以实现给TaskTracker分配任务、使JobTracker能够及时获取各个节点的资源使用情况和任务运行状态信息、判断TaskT转载 2014-06-05 15:43:14 · 1763 阅读 · 0 评论