大数据HDFS存储过程

随着大数据时代的到来,第三次信息化浪潮已经开幕了(15年一次),在第四次信息化浪潮的到来之前,各种新兴企业的兴起也愈发迅速,大数据HADOOP体系的技术也愈发成熟

HDFS存储过程

       有客户端发送提交请求,首先与namenode进行交互,然后namenode与datanode实时发送心跳(即ping),然后将文件切分成block进行上传,但是其实HDFS默认有三个机架,这里就先不讲机架感知策略,只要知道机架感知是存放副本的就行.上传block时,是将以比block的单元进行传输的(即chunk---最小的存储单元),当block上传到第一个datanode时,它就会默认复制三份(dfs.replication设置),以chunk传输完一个存储单元,后立即往下一个副本传递.利用了时间重叠技术;然后datanode以一张map映射表告知namenode的block存储情况.

     副本存放策略:

       默认有两种算法,一是namenode查询datanode(CPU,内存等信息),然后找一个资源充足的datanode节点存放副本.