Hadoop学习——(3) 基本使用

最新推荐文章于 2024-10-09 16:23:47 发布

原创

最新推荐文章于 2024-10-09 16:23:47 发布 · 638 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了HDFS的基本使用，包括HDFS的存储目录结构，如NameNode、Secondary NameNode和DataNode的文件内容；常用HDFS命令，如查看、删除、创建文件和目录；以及读取和写入文件的方法。此外，还提及了Hadoop程序的运行方式，如使用jar包执行示例程序。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS的文件存放在三类节点中，分别为NameNode、DataNode、Secondary NmaeNode，在hdfs-site.xml中配置的目录分别为/data/hadoop/hdfs/下的nn、dn、snn。

查看nn里的文件如下，可以看到nn中存储有——

fsimage，记录某一永久性检查点（Checkpoint）时整个HDFS的元信息
edits，记录所有对HDFS的写信息
seed_txid，最近一次fsimage或inprogress的transaction ID，通过与最新的transaction ID比较保持数据一致性
in_use.lock，确保只有一个NameNode