idea内 hdfs API 操作

最新推荐文章于 2023-12-08 11:50:52 发布

lxpqxl

最新推荐文章于 2023-12-08 11:50:52 发布

阅读量2.2k

点赞数 6

文章标签： hdfs idea API

本文链接：https://blog.youkuaiyun.com/lxpqxl/article/details/103004696

版权

本文详细介绍如何使用Java API进行Hadoop文件系统的操作，包括文件夹和文件的创建、内容的添加与追加、以及文件内容的读取。通过具体示例展示了在HDFS中进行文件管理的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.server.common.JspHelper;
import org.apache.hadoop.yarn.webapp.hamlet.Hamlet;
import org.mortbay.util.Scanner;

import java.io.*;
import java.net.URI;

public class Test1 {
    private static Configuration conf = new Configuration();

    public static void main(String[] args) throws Exception{
        // addFiles();
        // addFile();
        // appendSomeThings();
        readFile();
        // addSomeThings();
   }

    //创建一个文件夹
    private static void addFiles() throws Exception{
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.150:8020"),conf);
        boolean mkdirs = fs.mkdirs(new Path("/abba"));
        if(mkdirs){
            System.out.println("ok");
        }else {
            System.out.println("?");
        }
    }

    //在上一个创建的文件夹内创建一个文件
    private static void addFile() throws Exception{
        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.150:8020"),conf);
        boolean b = fs.createNewFile(new Path("/abba/a.txt"));
        if(b){
            System.out.println("ok");
        }else {
            System.out.println("?");
        }
    }

    //文件添加内容
    private static void addSomeThings() throws Exception {

        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.150:8020"),conf);
        FSDataOutputStream append = fs.append(new Path("/abba/a.txt"));
        BufferedWriter bf =new BufferedWriter(new OutputStreamWriter(append));

        bf.write("  这一行没换行");

        //换行
        bf.newLine();
        bf.write("这一行换行");

        bf.close();
        fs.close();
    }

    //文件内容追加
    private static void appendSomeThings() throws Exception {

        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.150:8020"),conf);
        FSDataOutputStream append = fs.append(new Path("/abba/a.txt"));
        append.write("hello world ！".getBytes());
        append.close();
        fs.close();
    }

    //读取文件内容
    private static void readFile() throws Exception {

        FileSystem fs = FileSystem.get(new URI("hdfs://192.168.100.150:8020"),conf);
        InputStream is = fs.open(new Path("/abba/a.txt"));
        BufferedReader bf = new BufferedReader(new InputStreamReader(is));

        String s = null;
        while ((s = bf.readLine()) != null){
            System.out.println(s);
        }

        is.close();
        bf.close();
        fs.close();

    }
}