HDFS JAVA API介绍

最新推荐文章于 2022-09-12 21:12:07 发布

转载最新推荐文章于 2022-09-12 21:12:07 发布 · 181 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sorco/p/6899298.html

文章标签：

#java #大数据 #操作系统

本文提供了一个简单的HDFS操作示例，包括如何在HDFS上创建目录并使用Hadoop命令执行Java程序。此外，还介绍了如何通过Maven打包Java程序，并在Linux环境中运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

注：在工程pom.xml 所在目录，cmd中运行 mvn package ，打包可能会有两个jar，名字较长的是包含所有依赖的重量级的jar，可以在linux中使用 java -cp 命令来跑。名字较短的jar，只包含了我们自己创建的类的依赖的轻量级jar，需要hadoop，所以在linux中需要使用 hadoop 命令来跑。

总之，

java -cp 来运行包含所有依赖的 jar

hadoop jar 来运行只包含我们创建的类的 jar

package org.training.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class HdfsExample {

  public static void testMkdirPath(String path) throws Exception {
    FileSystem fs = null;
    try {
      System.out.println("Creating " + path + " on hdfs...");
      Configuration conf = new Configuration();
      // First create a new directory with mkdirs
      Path myPath = new Path(path);
      fs = myPath.getFileSystem(conf);

      fs.mkdirs(myPath);
      System.out.println("Create " + path + " on hdfs successfully.");
    } catch (Exception e) {
      System.out.println("Exception:" + e);
    } finally {
      if(fs != null)
        fs.close();
    }
  }

  public static void testDeletePath(String path) throws Exception {
    FileSystem fs = null;
    try {
      System.out.println("Deleting " + path + " on hdfs...");
      Configuration conf = new Configuration();
      Path myPath = new Path(path);
      fs = myPath.getFileSystem(conf);

      fs.delete(myPath, true);
      System.out.println("Deleting " + path + " on hdfs successfully.");
    } catch (Exception e) {
      System.out.println("Exception:" + e);
    } finally {
      if(fs != null)
        fs.close();
    }
  }

  public static void main(String[] args) {
    try {
      //String path = "hdfs:namenodehost:8020/test/mkdirs-test";
      String path = "/test/mkdirs-test";
      testMkdirPath(path);
      //testDeletePath(path);
    } catch (Exception e) {
      System.out.println("Exceptions:" + e);
    }
    System.out.println("timestamp:" + System.currentTimeMillis());
  }
}