大数据学习---HDFS操作方法和基础编程-优快云博客

本文链接：https://blog.youkuaiyun.com/lovewuye/article/details/116399479

这篇博客详细介绍了HDFS的基础操作，包括使用shell命令进行目录和文件的创建、上传与下载，以及通过Web管理界面进行监控。此外，还深入讲述了在Windows环境下，如何配置Java和Hadoop，利用Idea和Maven进行HDFS的Java编程实践，包括文件的增删查改。建议读者进一步探索Hadoop官网以掌握更多高级功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大数据学习----HDFS操作方法和基础编程

永远谦逊，保持对学习的渴望。

第一章 Linux安装第二章 Linux配置第三章 Hadoop完全分布式环境搭建第四章 Zookeeper的安装第五章 HBase的安装和基础命令第六章 HDFS操作方法和基础编程

一、HDFS常用shell命令

(一)目录操作

创建用户目录
./bin/hdfs dfs -mkdir -p /user/hadoop
类似Linux上的命令，在前面加上./bin/hdfs dfs 就可以对HDFS的文件目录进行操作

下面再举一个例子：

在根目录下创建一个input目录，下面的WordCount案例也会用这个目录。
./bin/hdfs dfs -mkdir /input

(二)文件操作

文件上传命令
./bin/hdfs/dfs -put /home/hadoop/uploadTest.txt /test
将测试文件上传到Hadoop环境上
文件下载命令

二、HDFS的Web管理界面

端口号：9870
在这里插入图片描述

三、HDFS编程实践

案例要求：测试文件的增删查改方法。
这边采用Windows连接Hadoop，用Maven，就不用在Linux系统上下载开发工具进行开发，可以直接在Windows上进行开发。

（一）Windows 下载安装Java，Hadoop

1、JAVA安装教程太多了，不写了。jdk8，这里不要用其他jdk了，会出现一些其他问题的。
2、Hadoop3.1.3，官网下载，也可以下载其他的3.0以上的版本，3.0以下的版本安装有些不太一样
3、Hadoop3.1.3在window运行的工具winutils

Hadoop 安装：配置环境变量
cmd 命令 hadoop verison +hadoop checknative测试
在这里插入图片描述

（二）本地Idea安装配置Maven，导入Jar包

1.Maven配置：
在conf/setting.xml内修改本地仓库，镜像源，jdK版本。输入下面命令测试。
在这里插入图片描述
2.导入JAR包

这个是pom.xml依赖，依赖官网：https://mvnrepository.com/

org.apache.hadoop
hadoop-client
2.6.1

部署完成
在这里插入图片描述

（三）编写Java程序----HDFS 文件操作，上传下载删除

package hdfsOprator;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Test;

import java.io.File;
import java.io.