Hadoop笔记（二）

HDFS文件的读取方法一，不推荐：

package com.hadooptest.hdfstest;
import java.io.IOException;
import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
//每个java虚拟机只能调用一次setURLStreamHandlerFactory
//这就意味着如果程序的其他组件已经调用了这个方法
//你将无法使用这个方法从Hadoop中读取数据
public class HdfsTest {
	static{
		//非常重要，这样才能识别hdfs URL
		URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	}
	
	private void printStream(InputStream in) throws IOException{
		if(in == null){
			return;
		}
		byte[] buffer = new byte[1024];
		int len = -1;
		while((len = in.read(buffer)) != -1){
			System.out.println(new String(buffer,0,len));
		}
	}
	
	public void readHdfsFile(){
		InputStream in = null;
		
		try{
			in = new URL("hdfs://ubuntu:9000/test1").openStream();
			printStream(in);
		}catch(Exception ex){
			ex.printStackTrace();
		}finally{
			if(in != null){
				try {
					in.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
		}
	}
	
	public static void main(String[] args){
		HdfsTest test = new HdfsTest();
		test.readHdfsFile();
	}
}

HDFS文件的读取方式二：

package com.hadooptest.hdfstest;
import java.io.IOException;
import java.io.InputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class HdfsTest1 {
	private void printStream(InputStream in) throws IOException{
		if(in == null){
			return;
		}
		byte[] buffer = new byte[1024];
		int len = -1;
		while((len = in.read(buffer)) != -1){
			System.out.println(new String(buffer,0,len));
		}
	}
	
	public void readHdfsFile(){
		String url = "hdfs://ubuntu:9000/test1";
		Configuration conf = new Configuration();
		FileSystem fs = null;
		InputStream in = null;
		try {
			fs = FileSystem.get(URI.create(url),conf);
			in = fs.open(new Path(url));
			printStream(in);
		} catch (IOException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally{
			if(in != null){
				try {
					in.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			if(fs != null){
				try {
					fs.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
		}
	}
	
	public static void main(String[] args){
		HdfsTest test = new HdfsTest();
		test.readHdfsFile();
	}
}

HDFS文件的写入方式：

package com.hadooptest.hdfstest;

import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;

public class HdfsTest2 {
	public void copyFile(){
		String localPath = "/home/pijing/testdata";
		String dstPath = "hdfs://ubuntu:9000/testdata";
		InputStream in = null;
		FileSystem fs = null;
		OutputStream out = null;
		
		try {
			in = new BufferedInputStream(new FileInputStream(localPath));
			Configuration conf = new Configuration();
			fs = FileSystem.get(URI.create(dstPath),conf);
			out = fs.create(new Path(dstPath),new Progressable(){

				@Override
				public void progress() {
					System.out.println(">>>>>>>>>>>>");
				}
				
			});
			
			IOUtils.copyBytes(in, out, 4096, true);
			
		} catch (Exception e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		} finally{
			if(in != null){
				try {
					in.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			if(out != null){
				try {
					out.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
			if(fs != null){
				try {
					fs.close();
				} catch (IOException e) {
					// TODO Auto-generated catch block
					e.printStackTrace();
				}
			}
		}
	}
	
	public static void main(String[] args){
		HdfsTest2 test2 = new HdfsTest2();
		test2.copyFile();
	}
}

1.读文件时，是向namenode发送请求（namenode已经将元数据与datanode的关系记录在了内存中）。文件是分为多个块的，对于一个块在namenode中记录的datanode的位置到相应的datanode进行读取，如果一个块在多个datanode中存在的话，则会自动选取最近的datanode进行读取。
2.写文件时，新建文件到命名空间中，namenode会检测该文件是否存在以及运行程序的用户是否具有该文件的权限，如果有问题会立即抛出异常；否则则会返回给用户Outputstream进行写文件。写文件的块分布在哪些datanode上由namenode分配，它通常会把第一个副本放在随机选取的datanode节点上，块的第二个副本选在与第一个datanode不在一个机架的节点上，第三个副本选在与第二个datanode同一个机架的随机节点上。
在写文件时，文件会立即可见，但写入的数据不会立即可见。通常写完一个块，那个块的数据才会可见；而正在写的块的数据是不可见的。