Hadoop 之 HDFS操作

最新推荐文章于 2021-11-04 18:32:49 发布

zzjmay

最新推荐文章于 2021-11-04 18:32:49 发布

阅读量311

点赞数

分类专栏：大数据文章标签： hdfs hadoop

本文链接：https://blog.youkuaiyun.com/zzjmay/article/details/79857141

版权

本文介绍了HDFS的设计，包括其数据块通常为128MB的特性，以及Namenode和Datanode的角色。详细阐述了NameNode的元数据管理和Datanode的数据存储，并提到了NameNode的容灾措施。此外，还详细解析了使用Java在Maven项目中操作HDFS的步骤，涉及FileSystem、Configuration、FSDataInputStream和FSDataOutputStream等关键类。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS的设计

HDFS 以流式数据访问模式来存储超大文件，运行于商用硬件集群上。HDFS是分布式文件系统

HDFS的数据块

HDFS的数据块一般的大小是128MB
PS： 寻址速度10ms 硬盘读取速度100MB/s 一般寻址速度是数据IO的百分之一
我们以拷贝一个大于128M的文件为例子
步骤一：首先找到大于128MB的文件，将文件拷贝到hdfs下，hdfs只是一个逻辑上的文件系统
hdfs dfs -copyFromLocal /Users/zzjmay/Downloads/pycharm-professional-2016.3.1.dmg /zzjmay/hadoop/
本地文件拷贝 copyFromLocal，可以通过WebUI看到，一个268MB的文件被切割成了三个数据块，其中需要说明的是BlockId是其在数据节点中存储的ID

HDFS的Namenode和datanode

NameNode: 名称节点，维护文件系统树和以及树中的文件和目录。说白了，就是一个目录。但是这个目录有非常的重要，里面存放了命名空间的镜像文件和编辑日志文件，用户拼接数据节点的信息（存放目录 /Users/zzjmay/hadoopwork/hadoop_tmp/dfs/name/）
datanode：数据节点，用于存放数据块的节点(存放目录/Users/zzjmay/hadoopwork/hadoop_tmp/dfs/data/ )
注意：
1. 正常开发中，名称节点和数据节点是要分开部署的
2. 名称节点要做好容灾措施，两种方式：第一种，配置远程的文件系统，以保证一致性第二种，创建辅助的名称节点

回到之前说的pycharm的分割的数据块存放的路径
/Users/zzjmay/hadoopwork/hadoop_tmp/dfs/data/current/BP-1423851909-127.0.0.1-1522918427220/current/finalized/subdir0/subdir0

Hadoop的采用的是java的切割技术，只需要将这三个数据块拼接在一起就可以回到原来的文件，亲测有效

namenode只存放元数据信息，不会存储块信息。当datanode启动后，会主动请求namenode，去报备对应的快列表

Java 操作HDFS文件系统步骤（Maven模式下）

步骤1 创建maven项目（不说）

步骤2 引入hadoop的依赖

 <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.3</version>
  </dependency>