HDFS的API操作

原创 已于 2022-03-18 12:04:16 修改 · 1.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #java

于 2022-03-18 11:56:14 首次发布
  1. 创建maven工程，并导入相关依赖（可以加上日志）
<dependencies>
    <!--导入hadoop依赖-->
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>3.1.3</version>
    </dependency>
    <!--测试-->
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <!--日志可添可不添，在于可以查看错误日志-->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>1.7.30</version>
    </dependency>
</dependencies>

 添加日志需在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入一下内容

log4j.rootLogger=INFO, stdout  
log4j.appender.stdout=org.apache.log4j.ConsoleAppender  
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout  
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n  
log4j.appender.logfile=org.apache.log4j.FileAppender  
log4j.appender.logfile.File=target/spring.log  
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout  
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

 2.连接hdfs，将此操作提取出来设置成测试的开始前执行，需将文件系统变量提取成全局变量供全局使用。

private FileSystem fs;
    @Before
    public void start() throws IOException, URISyntaxException, InterruptedException {
        // 创建连接对象
        Configuration conf = new Configuration();

        // 加载文件系统信息
        // uri为你的hdfs路径，conf为连接对象，"root"为你的操作权限者，这根据你的hadoop文件创建者权限，不一致会导致使用时无权限，当然root权限最高
        fs = FileSystem.get(new URI("hdfs://192.168.243.131:8020"),conf,"root");
    }

3.当然有开始就需要结束，这里一样使用测试将结束的提取出来，像这样的连接服务都需要在结束时释放资源，不然会占用资源，因此可以在结束测试时将资源释放。

@After
    public void close() throws IOException {

        // 关闭资源
        fs.close();
    }

 4.下面开始编写操作方法

  • 创建新目录，直接就调用mkdirs方法，传入创建路径就可
    @Test
    public void testMkdir() throws IOException {

        // 创建新目录
        fs.mkdirs(new Path("/input"));
        System.out.println("mkdir ok");
    }
  • 上传文件(参数第一个路径设置本地系统路径，第二个设置hdfs路径)
    @Test
    public void testPut() throws IOException {

        // 上传文件(参数第一个路径设置本地系统路径，第二个设置hdfs路径)
        fs.copyFromLocalFile(new Path("D:\\out5"),new Path("/put"));
        System.out.println("put over");
    }
  • 获取hdfs文件（参数：boolean delSrc 指是否将原文件删除；Path src 指要下载的文件路径；Path dst 指将文件下载到的路径；boolean useRawLocalFileSystem 是否开启文件校验）
    @Test
    public void testGet() throws IOException {

        // 获取hdfs文件
        // boolean delSrc 指是否将原文件删除
        // Path src 指要下载的文件路径
        // Path dst 指将文件下载到的路径
        // boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(new Path("/put"), new Path("D:/out9"));
        System.out.println("get over");
    }
  • 移动或者更名文件
    @Test
    public void testMv() throws IOException {


        // 移动或者更名文件
        fs.rename(new Path(""), new Path(""));
        System.out.println(" mv over");
    }
  • 删除文件
    @Test
    public void testDel() throws IOException {


        // 删除文件
        fs.delete(new Path("/put"),true);
        System.out.println("delete over");
    }
  • 判断是否为文件 
    @Test
    public void testFiles() throws IOException {

        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

        for (FileStatus f:fileStatuses
             ) {
            if (f.isDirectory()){
                System.out.println(f.getPath().getName()+"是目录。");
            }else System.out.println(f.getPath().getName()+"是文件。");
        }
    }
  •  获取文件详情 
    @Test
    public void testListFiles() throws IOException {

        // 获取文件详情
        // 这里它使用的是自己的迭代器
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/input"), true);
        while (listFiles.hasNext()){
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("========" + fileStatus.getPath() + "=========");
            System.out.println("权限："+fileStatus.getPermission());
            System.out.println("管理者："+fileStatus.getOwner());
            System.out.println("管理组："+fileStatus.getGroup());
            System.out.println("文件长度："+fileStatus.getLen());
            System.out.println("时间(毫秒数)："+fileStatus.getModificationTime());
            System.out.println("副本数："+fileStatus.getReplication());
            System.out.println("块大小："+fileStatus.getBlockSize());
            System.out.println("文件名："+fileStatus.getPath().getName());

            // 获取块信息
            System.out.println("块信息："+Arrays.toString(fileStatus.getBlockLocations()));
        }
    }

整个代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.Arrays;


public class HDFSApi {

    private FileSystem fs;
    @Before
    public void start() throws IOException, URISyntaxException, InterruptedException {
        // 创建连接对象
        Configuration conf = new Configuration();

        // 加载文件系统信息
        fs = FileSystem.get(new URI("hdfs://192.168.243.131:8020"),conf,"root");
    }

    @After
    public void close() throws IOException {

        // 关闭资源
        fs.close();
    }


    @Test
    public void testMkdir() throws IOException {

        // 创建新目录
        fs.mkdirs(new Path("/input"));
        System.out.println("mkdir ok");
    }

    @Test
    public void testPut() throws IOException {

        // 上传文件(参数第一个路径设置本地系统路径，第二个设置hdfs路径)
        fs.copyFromLocalFile(new Path("D:\\out5"),new Path("/put"));
        System.out.println("put over");
    }

    @Test
    public void testGet() throws IOException {

        // 获取hdfs文件
        // boolean delSrc 指是否将原文件删除
        // Path src 指要下载的文件路径
        // Path dst 指将文件下载到的路径
        // boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(new Path("/put"), new Path("D:/out9"));
        System.out.println("get over");
    }

    @Test
    public void testDel() throws IOException {


        // 删除文件
        fs.delete(new Path("/put"),true);
        System.out.println("delete over");
    }


    @Test
    public void testMv() throws IOException {


        // 移动或者更名文件
        fs.rename(new Path(""), new Path(""));
        System.out.println(" mv over");
    }


    @Test
    public void testListFiles() throws IOException {

        // 获取文件详情
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/input"), true);
        while (listFiles.hasNext()){
            LocatedFileStatus fileStatus = listFiles.next();
            System.out.println("========" + fileStatus.getPath() + "=========");
            System.out.println("权限："+fileStatus.getPermission());
            System.out.println("管理者："+fileStatus.getOwner());
            System.out.println("管理组："+fileStatus.getGroup());
            System.out.println("文件长度："+fileStatus.getLen());
            System.out.println("时间(毫秒数)："+fileStatus.getModificationTime());
            System.out.println("副本数："+fileStatus.getReplication());
            System.out.println("块大小："+fileStatus.getBlockSize());
            System.out.println("文件名："+fileStatus.getPath().getName());

            // 获取块信息
            System.out.println("块信息："+Arrays.toString(fileStatus.getBlockLocations()));
        }
    }


    @Test
    public void testFiles() throws IOException {

        FileStatus[] fileStatuses = fs.listStatus(new Path("/"));

        for (FileStatus f:fileStatuses
             ) {
            if (f.isDirectory()){
                System.out.println(f.getPath().getName()+"是目录。");
            }else System.out.println(f.getPath().getName()+"是文件。");
        }
    }
}

总结一下，API的学习就是看文档、看源码，知道它有哪些方法就可以直接使用 。

hdfs api操作.mp4
09-29
hdfs api操作.mp4
10hdfsapi第一个案例
01-20
获取文件系统的客户端是HDFS API的基本操作，以下是一些获取`FileSystem`实例的方法： - **通过URI和配置**: 使用`FileSystem.get(URI uri, Configuration conf)`，传入HDFS的URI和配置对象，系统会根据配置自动...
HDFS中JAVA API的使用
Stereo
01-07 789
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 　　对分HDFS中的文件操作主要涉及一下几个类： 　　Configuration类：该类的对象封转了客户端或者服务器的配置。 　　FileSystem类：该类的对象是一个文件系统对象，可以用该对象的
通过HDFS API 进行HDFS操作
weixin_51568626的博客
08-25 1758
通过HDFS API进行HDFS操作
HDFS API操作 使用HDFS API（开发工具任选，例如eclipse等）实现在HDFS中创建文件夹，创建文件，查看文件，上传文件、删除文件和下载文件 1. 使用HDFS API在HDFS中创建文件夹. 2. 使用HDFS API在HDFS中创建文件. 3. 使用HDFS API读取HDFS中的文件 4. 从本地上传文件到HDFS 5. 将HDFS中的文件下载到本地 6. 删除hdfs中指定的文件 7. 删除hdfs中指定的文件夹
最新发布
10-30
引用[^2]涵盖了HDFS API操作的环境准备，如设置环境变量和Maven依赖。 用户上次的问题是关于快速排序的，但现在是关于HDFS API的，所以我应该基于当前查询构建回答。回答需要覆盖所有指定的操作：创建文件夹、创建...
HDFS客户端及API操作实验
zn2021220822的博客
12-04 1094
1.掌握HDFS的客户端操作，包括上传文件、下载文件、重命名、查看目录等； 2.掌握HDFS的JavaAPI使用，能够利用JavaAPI实现上传、下载等常用操作；
hdfs的API操作
Xiaoweidumpb
10-18 374
1.1 配置Windows下Hadoop环境 在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题: 缺少winutils.exe Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll Unable to load native-hadoop library for your platform… using builtin-Java classes wher
HDFS的java操作
dongdingjiu8971的博客
07-30 524
搭建开发环境 1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.6.1</version> </de...
hadoop核心组件——HDFS系列讲解之HDFS的javaAPI操作
LeeBoolean的博客
10-18 404
hadoop核心组件——HDFS系列讲解之HDFS的javaAPI操作获取FileSystem的几种方式递归遍历文件系统当中的所有文件下载文件到本地hdfs上创建文件夹hdfs文件上传HDFS权限问题以及伪造用户HDFS的小文件合并 获取FileSystem的几种方式 第一种方式获取FileSystem @Test public void getFileSystem() throws URISyntaxException, IOException { Configuration configurati
HDFS客户端操作2 文件操作
Auraros的博客
10-13 414
HDFS客户端操作2 文件操作 更多整理都在我的github上：Auraros欢迎大家。 连接方式 主要有两种连接HDFS方式： // 如果在resource中设置好了fs.defaultFS，则可以 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); //如果没有的话，可以 Configuration conf = new Configuration(); conf.set("fs.default
头歌HDFS API操作
11-19
1. **FileSystem接口**：这是 HDFS API 的核心，实现了文件系统的常见操作，如创建目录、读取文件、写入文件、删除文件等。 ```java FileSystem fs = FileSystem.get(conf); Path path = new Path("/path/to/file")...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值