1.HDFS: Hadoop Distributed File System 分布式文件系统
1.1主从结构
主节点,只有一个: namenode
从节点,有很多个: datanodes
1.2namenode负责:
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系,block与datanode之间关系
1.3datanode负责:
存储文件
文件被分成block存储在磁盘上
为保证数据安全,文件会有多个副本
主节点,只有一个: JobTracker
接收客户提交的计算任务
把计算任务分给TaskTrackers执行
执行JobTracker分配的计算任务
1.1主从结构
主节点,只有一个: namenode
从节点,有很多个: datanodes
1.2namenode负责:
接收用户操作请求
维护文件系统的目录结构
管理文件与block之间关系,block与datanode之间关系
1.3datanode负责:
存储文件
文件被分成block存储在磁盘上
为保证数据安全,文件会有多个副本
2.MapReduce:并行计算框架
主节点,只有一个: JobTracker
从节点,有很多个: TaskTrackers
接收客户提交的计算任务
把计算任务分给TaskTrackers执行
监控TaskTracker的执行情况
执行JobTracker分配的计算任务