复习Hadoop相关知识归纳

Hadoop知识点归纳

版本
hadoop1：是由hdfs 和MapReduce
hadoop2：是由hdfs，MapReduce，yarn三部分构成

hadoop四大组件
hadoop common
功能:用于支持其他模块和其他工具的接口

HDFS
功能：
1.管理存储文件
2.文件数据的读写

架构：主从
主：NameNode
功能：
1.接受客户端的请求
2.负责管理所有的从节点
3.负责管理所有的元数据
从：DataNode
功能：负责实际的数据读写
secondary NameNode :辅助进程
功能:辅助NameNode备份元数据

HDFS上读写过程

写的过程

1.用户操作客户端提交写的请求，那么node检查该客户端client是否有些的权限
2.客户端将用户提供的文件进行分割，默认128M为一块
3.客户端将第一个块写的请求给NameNode
4.NameNode接受客户端请求，NameNode 会返回该数据块存储的dataNode的地址
5.客户端会将离自己最近那台机器上的数据块交给那台DataNode，第一台存储DataNode 会将数据块进行复制给其他两台DataNode
6.DataNode 将存储结果返回给NameNode ,NameNode 记录元数据
7重复上诉操作，知道每个块都存储完成

读取流程

1 客户通过客户端发送读请求
2 客户端请求NameNode，NameNode返回每个块的存储地址
3 客户端从离自己最近的机器上读取每个块，将每个块进行合并成一个文件，返回给客户

启动HDFS命令

sbin/hadoop-daemon.sh start