文章目录
- 一、HDFS基本概念
- 二、HDFS体系结构
- 三、HDFS读写删文件流程
- 四、HDFS启动与关闭
- 五、HDFS常用命令
- 六、HDFS常用命令操作实战
- 七、使用HDFS Explorer可视化操作HDFS
一、HDFS基本概念
1、块(Block)
HDFS默认一个块128MB,一个文件被分成多个块,以块作为存储单位。块的大小远远大于普通文件系统,可以最小化寻址开销。
2、名称节点和数据节点
(1)名称节点
在HDFS中,名称节点(NameNode)是文件系统的管理节点,负责管理分布式文件系统命名空间(NameSpace),保存了两个核心的数据结构:文件系统映像文件(fsimage)和操作日志文件(edits)。 名称节点起来之后,HDFS中的更新操作会重新写到edits文件中,因为fsimage文件一般都很大(GB级别的很常见),如果所有的更新操作都往fsimage文件中添加,这样会导致系统运行得十分缓慢,但是,如果往edits文件里面写就不会这样,因为edits要小很多。每次执行写操作之后,且在向客户端发送成功代码之前,edits文件都需要同步更新。
(2)数据节点
数据节点是分布式文件系统H