大数据HDFS基础操作

HDFS操作指南：Shell命令与API实战

最新推荐文章于 2021-06-13 00:11:42 发布

原创

最新推荐文章于 2021-06-13 00:11:42 发布 · 806 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs

本文详细介绍了HDFS的基础操作，包括Shell命令的使用，如创建目录、查看文件、移动文件等，以及客户端API的实现，如文件上传、下载、删除和重命名。还探讨了HDFS的数据流过程，包括写数据的步骤和节点距离计算。

第1章 HDFS概述

在这里插入图片描述
1.1 HDFS产出背景及定义

1.2 HDFS优缺点

1.3 HDFS组成架构

1.4 HDFS文件块大小（面试重点）

第2章 HDFS的Shell操作（开发重点）

#1．基本语法

bin/hadoop fs 具体命令 OR bin/hdfs dfs 具体命令
dfs是fs的实现类。
#2．命令大全
注意：在进行操作时一定要注意haddop 下的hdfs-site.xml中配置的节点数一定要和启动的datanode节点数一致，只能大不能小。

（0）启动Hadoop集群（方便后续的测试）
[jinghang@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh
[jinghang@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh
（1）-help：输出这个命令参数
[jinghang@hadoop102 hadoop-2.7.2]$ hadoop fs -help rm
（2）-ls: 显示目录信息
用法1：hadoop fs -ls /
功能：列出hdfs文件系统根目录下的目录和文件
用法2：hadoop fs -ls -R /
功能：列出hdfs文件系统所有的目录和文件
[jinghang@hadoop102 hadoop-2.7.2]$ hadoop fs -ls /
（3）-mkdir：在HDFS上创建目录
用法1：hadoop fs -mkdir
功能：只能一级一级的建目录，父目录不存在的话使用这个命令会报错
用法2：hadoop fs -mkdir -p
功能：所创建的目录如果父目录不存在就创建该父目录
[jinghang@hadoop102 had