05、Hadoop框架HDFS Java API

Hadoop框架HDFS Java API

创建Hadoop模块

1、选择创建Maven项目方便管理pom依赖

2、填写包名、项目名、版本号

---

进入Maven官网加入依赖

  加入hadoop-client依赖，选择2.7.6版本。

1、搜索hadoop-client依赖

2、选择2.7.6版本

3、将Maven的hadoop-client依赖复制到pom.xml文件中

4、重新导入依赖

5、导入依赖成功

• 导入的依赖如下

    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.6</version>
        </dependency>

6、如果导入失败请检查Maven的设置

File->Settings->Maven

---

FileSystem

fileSystem是使用java代码操作hdfs的api接口

文件操作

• create写文件
• open读取文件
• delete删除文件

目录操作

• mkdirs创建目录
• delete删除文件或目录
• listStatus列出目录的内容
• getFileStatus 显示文件系统的目录和文件的元数据信息
• getFileBlockLocations显示文件存储位置

---

准备工作

首先启动HDFS

start-all.sh

##创建HDFSJavaAPI

注意导的都是Hadoop的包！

这里举两个例子

创建目录（测试）

package com.liangzai.HDFS;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class HDFSJavaAPI {
   
   
    public static