超级会员免费看
本文详细介绍了HDFS的基本概念，包括块、名称节点和数据节点，阐述了其体系结构、读写文件流程及启动关闭步骤。此外，还涵盖了HDFS的常用命令操作，如创建、查看、上传、下载、删除文件和目录，以及如何通过HDFS Explorer进行可视化操作。
文章目录
- 一、HDFS基本概念
- 二、HDFS体系结构
- 三、HDFS读写删文件流程
- 四、HDFS启动与关闭
- 五、HDFS常用命令
- 六、HDFS常用命令操作实战
- 七、使用HDFS Explorer可视化操作HDFS
一、HDFS基本概念
1、块（Block）
HDFS默认一个块128MB，一个文件被分成多个块，以块作为存储单位。块的大小远远大于普通文件系统，可以最小化寻址开销。
2、名称节点和数据节点
（1）名称节点
在HDFS中，名称节点（NameNode）是文件系统的管理节点，负责管理分布式文件系统命名空间（NameSpace），保存了两个核心的数据结构：文件系统映像文件（fsimage）和操作日志文件（edits）。 名称节点起来之后，HDFS中的更新操作会重新写到edits文件中，因为fsimage文件一般都很大（GB级别的很常见），如果所有的更新操作都往fsimage文件中添加，这样会导致系统运行得十分缓慢，但是，如果往edits文件里面写就不会这样，因为edits要小很多。每次执行写操作之后，且在向客户端发送成功代码之前，edits文件都需要同步更新。
（2）数据节点
数据节点是分布式文件系统H
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
