Hadoop API编程——FileSystem操作

基于前面配置的HDFS伪分布式模式进行实验，完全分布式模式下次来搞。。

创建Java项目，File->New->Java Project,命名为TestHDFS

采用单元测试做实验，加入单元测试依赖包，项目导航栏里右键Build Path->AddLibraries->JUnit，以上操作完成如下：

引入hadoop相关外部jar包，Build Path->Add ExternalArchives,jar包包括：

hadoop/lib/*.jar,hadoop/hadoop-core-1.2.1.jar

创建一个java类，TestHDFS.java，继承junit.framework.TestCase,代码开始写：

import java.io.BufferedInputStream;

import java.io.File;

import java.io.FileInputStream;

import java.io.InputStream;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.BlockLocation;

import org.apache.hadoop.fs.FSDataOutputStream;

import org.apache.hadoop.fs.FileStatus;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IOUtils;

import org.junit.Test;

import junit.framework.TestCase;

public class TestHDFS extends TestCase {

   

    public static StringhdfsUrl = "hdfs://192.168.1.106:8020";

    @Test

    public voidtestHDFSMkdir() throws Exception{   //create HDFS folder创建一个文件夹

        Configuration conf= new Configuration();

        FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

        Path path = new Path("/test");

        fs.mkdirs(path);

    }

    @Test 

    public voidtestCreateFile() throws Exception{   //create a file 创建一个文件

      Configuration conf= new Configuration();

      FileSystem fs = FileSystem.get(URI.create(hdfsUrl),conf);

      Pathpath = new Path("/test/a.txt");

      FSDataOutputStream out = fs.create(path);

      out.write("hello hadoop".getBytes());

    }

      @Test

      publicvoid testRenameFile() throws Exception{  //rename afile 重命名

        Configuration conf= new Configuration();

        FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

        Path path = new Path("/test/a.txt");

        Path newPath = new Path("/test/b.txt");

        System.out.println(fs.rename(path,newPath));

      }

      @Test

      publicvoid testUploadLocalFile1() throws Exception{  //upload alocal file 上传文件

        Configuration conf= new Configuration();

        FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

        Path src = newPath("/home/hadoop/hadoop-1.2.1/bin/rcc");

        Path dst = new Path("/test");

        fs.copyFromLocalFile(src, dst);

      }

      @Test

      public void testUploadLocalFile2() throws Exception{  //upload alocal file 上传文件

        Configuration conf= new Configuration();

        FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

        Path src = newPath("/home/hadoop/hadoop-1.2.1/bin/rcc");

        Path dst = new Path("/test");

        InputStream in = new BufferedInputStream(newFileInputStream(newFile("/home/hadoop/hadoop-1.2.1/bin/rcc")));

        FSDataOutputStream out = fs.create(newPath("/test/rcc1"));

        IOUtils.copyBytes(in, out, 4096);

      }

@Test

        public void testListFIles() throws Exception{ //list files under folder 列出文件

                Configuration conf= newConfiguration();

                FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

                Path dst = newPath("/test");

                FileStatus[] files =fs.listStatus(dst);

                for(FileStatus file:files){

                System.out.println(file.getPath().toString());

        }

}

@Test

        public void testGetBlockInfo() throws Exception{  //list blockinfo of file  查找文件所在的数据块

          Configuration conf= newConfiguration();

          FileSystem fs =FileSystem.get(URI.create(hdfsUrl),conf);

          Path dst = newPath("/test/rcc");

          FileStatus fileStatus =fs.getFileStatus(dst);                                                     BlockLocation[]blkloc=fs.getFileBlockLocations(fileStatus,0,fileStatus.getLen()); //查找文件所在数据块

          for(BlockLocation loc:blkloc){

              for(int i=0;i <loc.getHosts().length;i++)

                  System.out.println(loc.getHosts()[i]);

              }

          }

}

还有很多函数，慢慢使用体会吧。。。

单元测试过程：

Eclipse左侧窗口，展开java类的方法，对某个需要进行单元测试的类右键，选择JUnitTest，如图所示。

先到这里吧。。。

API说明：

http://hadoop.apache.org/docs/current/api/