mr_cuber的博客

1.架构 2.写入流程 3.读取流程 4.compact流程 5.rowkey设计

1.架构 2.作业提交流程

1.HA架构 在HA集群中，一般设置两个NN，其中一个处于“活跃（Active）”状态，另一个处于“待命（Standby）”状态。处于Active状态的NN负责对外处理所有客户端的请求，处于Standby状态的NN作为热备份节点，保存了足够多的元数据，在Active节点发生故障时，立即切换到活跃状态对外提供服务。 由于Standby NN是Active NN的“热备份”，因此Active NN的状态信息必须实时同步到StandbyNN。针对状态同步，可以借助一个共享存储系统来实现(JournalNo

1.作业执行流程 分别列了Hadoop 1.0时代、2.0时代的大体工作流 详述，仅关心2.0： 作业提交 1.客户端提交Job 2.向资源管理器请求一个application ID，等于job ID。 3.Job client核对job的输出规范，计算输入划分（input split），复制job resource（包括job JAR、配置文件和划分信息） 到HDFS，目录以job ID命名 4.最后通过调用资源管器的submitApplication()来提交job 5.当资源管理器