Hadoop平台相关组件

Hadoop 1.0

Hadoop 2.0

sudo su -
service mysql start

hdfs namenode -format
/opt/hadoop-2.7.3/sbin/start-dfs.sh
/opt/hadoop-2.7.3/sbin/start-yarn.sh
/opt/zookeeper-3.4.6/bin/zkServer.sh restart
jps

/opt/hbase-1.2.6/bin/start-hbase.sh
jps
hbase shell

/opt/apache-hive-1.2.1-bin/bin/hive --service metastore &
/opt/apache-hive-1.2.1-bin/bin/hive --service hiveserver2 &
ps -ef|grep Hive
jps

hive

HDFS

NameNode
HDFS的守卫进程，主要用来去管理HDFS文件系统的命名空间，负责来记载文件底层如何进行分割成为数据块的，还有这些数据库时如何被分别存储到哪些数据节点的，集中去管理维护内存磁盘IO。

SecondaryNameNode
NameNode辅助进程，运行过程中同NameNode通信，定期保存HDFS元数据快照信息，以满足备份恢复需要。

DataNode [all]
HDFS的工作进程，会依照需求存放和检查数据块，定期向NameNode发送自己存储块的信息。

• WRAN

YARN

ResourceManager
全局资源管理器，整个系统的资源分配及管理都由它来负责，由调度器（Scheduler）和应用程序管理器（Application Manager）组成。

NodeManager [all]
每个节点上的资源和任务管理器。定期向RM汇报自己节点上资源使用状况以及每个Container的运行情况；接受处理来自AM的Container启动、停止等操作请求。

Zookeeper

QuorumPeerMain
Zookeeper是Hadoop集群的启动入口类，作用是未来加载配置启动QuorumPeer线程。

• ensemble
• QuorumPeerMain

HBase

HMaster
HRegionServer[all]

Hive

RunJar