什么是HDFS(一)

HDFS是Hadoop的核心组件,作为分布式存储服务,它解决了大数据存储问题。Namenode负责管理文件系统元数据和数据节点,DataNode则执行实际的数据读写并定期汇报状态。HDFS具有数据副本机制,保证高容错性和可扩展性,但存在低延迟访问不足、小文件存储限制、文件修改不便及不支持并行写入等缺点。

HDFS 是 Hadoop 的重要组成部分

HDFS 是 Hadoop Distribute File System 的简称,
意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。
分布式文件系统解决的问题就是大数据存储。

HDFS集群

在这里插入图片描述
管理者:NameNode
作用:负责管理,管理集群内各个节点。
负责管理整个文件系统的元数据(指的是数据的存放位置或存放路径)或名字空间
辅助管理者:SecondaryNameNode
作用:责辅助NameNode管理工作。
工作者:DataNode
作用:负责工作,进行读写数据。 周期向NameNode汇报。
负责管理用户的文件数据块(一个大的数据拆分成多个小的数据块)

Namenode作用

1、维护 管理文件系统的名字空间(元数据信息)
2、负责确定指定的文件块到具体的Datanode结点的映射关系。
3、维护管理 DataNode上报的心跳信息

DataNode作用

1、执行数据的读写(响应的是客户端)
2、周期性向NameNode做汇报(数据块的信息、校验和)
若datanode 10分钟没有向NameNode做汇报,表示已丢失(已宕机)
心跳周期 3秒 3、执行流水线的复制(一点一点复制)

HDFS 副本存放

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值