Hadoop手动启动过程

注：不失一般性，我们这里以dfs的启动为例子，mapred的启动道理是一样的。
Dfs的启动脚本实际上是$HADOOP_HOME/bin/start-dfs.sh，start-all.sh也正是通过调用这个脚本来达到启动整个 HDFS的目的。start-dfs.sh会按顺序启动namenode, datanode(s)和secondnamenode，我在这里将一一说明：

1. 启动NameNode
【start-dfs.sh】：对于start-dfs.sh来说启动NameNode仅仅就是调用hadoop-daemon.sh [...] start namenode [...]。（[]内为省略的参数。）start表示启动namenode，同理stop表示关闭namenode。namenode告诉hadoop- daemon.sh他将启动的是那种类型的节点。
【hadoop-daemon.sh】：hadoop-daemon.sh的工作相对start-dfs.sh复杂一点。他虽然接受两个参数，但实际关心的仅仅只是start/stop这一个。他会更具start或stop采取不同的措施。我们此处仅关心start的过程。在hadoop- daemon.sh发现动作参数是start以后，它会调用hadoop [...] namenode [...]同时把该脚本的output内容导向一个日志文件（位于$HADOOP_HOME/logs下的文件就是这么来的）。
【hadoop】：hadoop脚本是真正办事情的人，就是它启动了namenode。实际上所有的Hadoop的做事的节点：namenode,datanode,secondnamenode,jobtracker,tasttracker都是hadoop脚本启动的—— 这是后话。hadoop脚本会根据namenode决定相应的java main class（org.apache.hadoop.hdfs.server.namenode.NameNode）然后初始化classpath，最后调用java命令启动namenode。
【最终的java命令】：java -Xmx1000m -Dhadoop.log.dir=[$HADOOP_HOME]/logs -Dhadoop.home.dir=[$HADOOP_HOME] -classpath [$HADOOP_HOME/conf+$HADOOP_HOME/hadoop-*-core.jar+$HADOOP_HOME/lib下的所有 jar] org.apache.hadoop.hdfs.server.namenode.NameNode

2.启动DataNode(s)
【start-dfs.sh】：start-dfs.sh启动datanode的时候调用的是hadoop-daemons.sh [...] start datanode [...]。被调用的脚本名字变成的复数，奇迹上它做的事情也是hadoop-daemon.sh的n次（n由datanode的个数决定）。
【hadoop-daemons.sh】：这个脚本只是把请求传递给slaves.sh，当然同时传递一组命令，这组命令的具体用途在slaves.sh中说明。
【slaves.sh】：slaves.sh脚本会根据$HADOOP_HOME/conf/slaves的文件的内容，通过ssh向每个slave发送hadoop-daemons.sh传入的命令。命令很简单：1.cd到$HADOOP_HOME；2.调用hadoop-daemon.sh start datanode，现在一切又都和启动namenode的时候相同了。
【hadoop-daemon.sh】：调用hadoop [...] datanode [...]
【hadoop】：找到java main class（org.apache.hadoop.hdfs.server.datanode.DataNode）运行java命令
【最终的java命令】：java -Xmx1000m -Dhadoop.log.dir=[$HADOOP_HOME]/logs -Dhadoop.home.dir=[$HADOOP_HOME] -classpath [$HADOOP_HOME/conf+$HADOOP_HOME/hadoop-*-core.jar+$HADOOP_HOME/lib下的所有 jar] org.apache.hadoop.hdfs.server.datanode.DataNode

3.启动SecondNameNode
SecondNameNode没有任何复杂的，类似于启动DataNodes，区别就是脚本将根据$HADOOP_HOME/conf/masters文件内的地址启动SecondNameNode。
【最终的java命令】：java -Xmx1000m -Dhadoop.log.dir=[$HADOOP_HOME]/logs -Dhadoop.home.dir=[$HADOOP_HOME] -classpath [$HADOOP_HOME/conf+$HADOOP_HOME/hadoop-*-core.jar+$HADOOP_HOME/lib下的所有 jar] org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

到这里整个start-dfs.sh就分析完了。可以看出最终脚本都是执行了一个java命令，起动了一个java程序。实际上，你完全可以自己到各个节点上手工敲入上面的java命令启动所有节点。最终的结果都是一样的。