HDFS节点详解 Google三大论文之一的GFS
设计思想分而治之:将大文件、大批量文件,分布式放在大量服务器上,以便于采取分而治之的方式对海量数据进行预算分析;在大数据系统中的作用:为各类分布式运算框架(如:MapReduce,Spark等)提供数据存储服务重要概念:文件切块,副本存放,元数据HDFS架构HDFS各节点NameNode是HDFS的主节点,负责元数据的管理以及客户端对文件的访问。管理数据块的复制,它周期性地从集群中的每个DataNode接收心跳信号和块状态报告(Blockreport)DataNode是HDFS的从节点
转载
2020-11-09 19:06:12 ·
871 阅读 ·
0 评论