HDFS的api操作

1.2 使用文件系统方式访问数据

1.2.1 获取 FileSystem 的几种方式

* 第一种方式

@Test
public void getFileSystem1() throws IOException {
    Configuration configuration = new Configuration();
    //指定我们使用的文件系统类型:
    configuration.set("fs.defaultFS", "hdfs://node01:8020/");

    //获取指定的文件系统
    FileSystem fileSystem = FileSystem.get(configuration);
    System.out.println(fileSystem.toString());

}

* 第二种方式
```java
@Test
public void getFileSystem2() throws  Exception{
    FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new       Configuration());
    System.out.println("fileSystem:"+fileSystem);
}
```

* 第三种方式
```java
@Test
public void getFileSystem3() throws  Exception{
    Configuration configuration = new Configuration();
    configuration.set("fs.defaultFS", "hdfs://node01:8020");
    FileSystem fileSystem = FileSystem.newInstance(configuration);
    System.out.println(fileSystem.toString());
}
```

* 第四种方式
```java
//@Test
public void getFileSystem4() throws  Exception{
    FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://node01:8020") ,new Configuration());
    System.out.println(fileSystem.toString());
}
```

1.2.2 遍历 HDFS 中所有文件

@Test
	public void listMyFiles() throws Exception {
	    //获取fileSystem类
	    FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
	    //获取RemoteIterator 得到所有的文件或者文件夹，第一个参数指定遍历的路径，第二个参数表示是否要递归遍历
	    RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fileSystem.listFiles(new Path("/"), true);
	    while (locatedFileStatusRemoteIterator.hasNext()) {
	        LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
	        System.out.println(next.getPath().toString());
	    }
	    fileSystem.close();
	}
		

### 1.2.3 HDFS 上创建文件夹

@Test
	public void mkdirs() throws  Exception{
	    FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
	    boolean mkdirs = fileSystem.mkdirs(new Path("/hello/mydir/test"));
	    fileSystem.close();
	}

1.2.4 下载文件

@Test
	public void getFileToLocal()throws  Exception{
	    FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
	    FSDataInputStream inputStream = fileSystem.open(new Path("/timer.txt"));
	    FileOutputStream  outputStream = new FileOutputStream(new File("e:\\timer.txt"));
	    IOUtils.copy(inputStream,outputStream );
	    IOUtils.closeQuietly(inputStream);
	    IOUtils.closeQuietly(outputStream);
	    fileSystem.close();
	}

### 1.2.5 HDFS 文件上传

@Test
	public void 
	Data() throws  Exception{
	    FileSystem fileSystem = FileSystem.get(new URI("hdfs://node01:8020"), new Configuration());
	    fileSystem.copyFromLocalFile(new Path("file:///c:\\install.log"),new Path("/hello/mydir/test"));
	    fileSystem.close();
	}