hadoop java操作hdfs-优快云博客

本文介绍了HDFS（Hadoop分布式文件系统）的特点与优势，并详细解释了如何使用HDFS的常见命令进行文件操作。此外，还提供了Java编程示例，演示如何通过Java API实现HDFS与本地文件系统的交互。

2019独角兽企业重金招聘Python工程师标准>>>

hfds 是一种文件系统，用于存储hadoop将要处理的数据。适用于大规模分布式数据处理，是一个可扩展行的文件分布式系统；

优点

1、如果出现节点宕机，hdfs,可以持续监视，错误检查，容错处理，文档恢复

2、存储文件巨大，hdfs把文件按块处理，规定每块的大小（默认64M）

hdfs常用命令

命令格式为： hadoop fs -cmd <args>

1、添加目录

hadoop fs -mkdir args

2、添加文件

hadoop fs -put localfile hdfsfileurl

备注：put命令，在hdfs文件系统中放入文件，本地文件消失

3、取出文件

hadoop fs -get locaUrl hdfsurl

备注：get,把hdfs中的文件取回本地。但是hdfs中的文件还存在，相当于copy

4、查看文件

hadoop fs -cat url

备注： hadoop fs -cat url|more可以分页查看

5、删除文件

hadoop fs -rm url

6、日志方式查看

hadoop fs -tail url

java 程序控制hdfs

在Hadoop中用作文件操作的主类位于org.apache.hadoop.fs软件包中。包括常见的open、read、write、close。Hadoop文件的API起点是FileSystem类，这是一个与文件系统交互的抽象类，我们通过调用factory的方法FileSystem.get(Configuration conf)来取得所需的FileSystem实例，如下我们可以获得与HDFS接口的FileSystem对象：

Configuration conf = new Configuration();

FileSystem hdfs = FileSystem.get(conf);//获得HDFS的FileSystem对象

如果我们要实现HDFS与本地文件系统的交互，我们还需要获取本地文件系统的FileSystem对象

FileSystem local = FileSystem.getLocal(conf);//获得本地文件系统的FileSystem对象

/**
 * 
 */
package org.jrs.wlh;

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

/**
 * @PutMeger.java
 * created at 2013-8-7 上午12:04:08 by jrs521wlh
 * java操作hdfs 往 hdfs中上传数据
 * @author jrs521wlh jiangrushe2010@126.com
 * @version $Revision$</br>
 * update: $Date$
 */
public class PutMeger {
	
	public static void main(String[] args) throws IOException {
		
		String[] str = new String[]{"E:\\hadoop\\UploadFileClient.java","hdfs://master:9000/user/hadoop/inccnt.java"};
		Configuration conf = new Configuration();
		FileSystem fileS= FileSystem.get(conf);
		FileSystem localFile = FileSystem.getLocal(conf);  //得到一个本地的FileSystem对象
		
		Path input = new Path(str[0]); //设定文件输入保存路径
		Path out = new Path(str[1]);  //文件到hdfs输出路径
		
		try{
			FileStatus[] inputFile = localFile.listStatus(input);  //listStatus得到输入文件路径的文件列表
			FSDataOutputStream outStream = fileS.create(out);      //创建输出流    
			for (int i = 0; i < inputFile.length; i++) {
				System.out.println(inputFile[i].getPath().getName());
				FSDataInputStream in = localFile.open(inputFile[i].getPath());
				
				byte buffer[] = new byte[1024];
				int bytesRead = 0;
				while((bytesRead = in.read(buffer))>0){  //按照字节读取数据
					System.out.println(buffer);
					outStream.write(buffer,0,bytesRead);
				}
				
				in.close();
			}
			
		}catch(Exception e){
			e.printStackTrace();
		}
	}

}

转载于:https://my.oschina.net/u/726039/blog/152235