hadoop 源码分析
那伊抹微笑
世界上最遥远的距离不是天涯也不是海角而是妳站在饿的面前饿却不可以牵妳的手
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
_00005 Hadoop DataNode源码浅析(RPC是基础)
接着会实例化datanode和开始一个datanode守护进程(runDatanodeDaemon(dn)),然后会调用datanode的join方法,进入到run方法,这个方法将刚刚startDataNode方法中的RPC服务端开启,然后调用了一个offerService方法,里面是一个死循环,最先开始是datanode RPC远程调用namenode.sendHeartbeat方法,这里的namenode在上面已经解释过了,其实就是DataNode,这里会调用DataNode的sendHeartbeat原创 2014-03-05 22:49:10 · 1807 阅读 · 0 评论 -
_00004 Hadoop NameNode源码浅析(RPC是基础)
# NameNode源码分析(RPC是基础) # 知道了RPC原理才能更好的理解NameNode # 进入NameNode的源代码找到main方法(由于NameNode是一个RPC的服务端,所以我们进入RPC的main方法,为了证明NameNode是一个RPC的服务端) public static void main(String argv[]) throws Exception {原创 2014-03-04 23:50:06 · 2264 阅读 · 0 评论 -
_00010 妳那伊抹微笑_云计算之Hadoop 完美笔记2.0
一份男人看了会心跳,女人看了会脸红的Hadoop笔记,一份让你欲罢不能的Hadoop笔记,一份让你超神的Hadoop笔记,一份你从未见过如此全面的Hadoop笔记,或许你现在正在迷茫该学习什么,正想着到底自己改如何学习,该如何才能找到一份适合自己的资料?《妳那伊抹微笑_云计算之Hadoop完美笔记2.0》这就是你苦苦追寻的Hadoop笔记(资料),里面所包含的内容: Hadoop集群搭建,Hdfs,MapReduce,Hbase,Hive,Sqoop,你以为就只有这些么?不,你错了、、、只有这一点东西怎么能原创 2014-04-15 23:42:11 · 1999 阅读 · 0 评论 -
_00008 Hadoop TaskTracker源码浅析
这里是一张客户端的流程图(手贱乱画的) 1 负责向JobTracker定期的发送心跳消息。消息中有说明是否要申请新的任务,并接收Job下达的任务。 2 如果jobTracker下达了task任务要执行,则执行该任务。 # 先看看类的注释跟类结构 * TaskTracker is a process that starts and tracks MR Tasks * in a原创 2014-03-06 23:33:49 · 1093 阅读 · 0 评论 -
_00007 Hadoop JobTracker源码浅析
# JobTracker是hadoop的mapreduce框架中最重要的一个类,这个类负责整个集群的作业控制和资源管理。 # JobTracker的启动是在用户启动hadoop集群时启动的,启动JobTracker是通过调用JobTracker的main()方法启动。接下来看看源码 * Start the JobTracker process. This is used only for de原创 2014-03-06 23:11:05 · 1203 阅读 · 0 评论 -
_00006 Hadoop FileSystem源码浅析(如何与NameNode通信)
# FileSystem的create方法(主要是围绕下面这张原理图说的) public FSDataOutputStream create(Pathf) throws IOException { return create(f, true); } # 进入create(f, true); public FSDataOutputStream create(P原创 2014-03-05 22:56:34 · 995 阅读 · 0 评论
分享