hadoop介绍

1.hadoop的核心分为

(1)HDFS：Hadoop Distributed File System分布式文件系统

(2)MapReduce：并行计算框架。

2.HDFS的架构

主从结构：

        主节点,只有一个:namenode

        从节点,有很多个:datanodes

namenode负责：

         接收用户操作请求

         维护文件系统的目录结构

         管理文件与block之间关系,block与datanode之间关系

datanode负责：

          存储文件 

          文件被分成block存储在磁盘上

          为保证数据安全,文件会有多个副本

3.MapReduce的架构

主从结构：

          主节点,只有一个：JobTracker

          从节点,有很多个：TaskTrackers

JobTracker负责：

          接收客户提交的计算任务

          把计算任务分给TaskTrackers执行

          监控TaskTracker的执行情况

TaskTrackers负责：

          执行JobTracker分配的计算任务