hadoop-2 HDFS API

• 1.HDFS读取数据

 1. 使用Hadoop 的URL读取数据:使用URL打开一个数据流,从中读取数据.
    /*需要FsUrlStreamHandlerFactory实例来调用在URL中的setURLStreamHandlerFactory方法
    *   该方法在一个java虚拟机中只能调用一次,因此放在一个静态方法中.
    */
    static{
     URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args){
        InputStream input = null;
        try{
       input = new URL("hdfs://masterIP/path").openStream();
       IOUtils.copyBytes(input,System.out,2048,false);
        }finally{
       input.close();
        }
    }

 2. 使用FileSystem 读取数据.hadoop把一个文件视为一个 Path对象,把一个路径视为一个URI
        获取FileSystem 有两种方法:
        public static FileSystem get(Configuration conf)
            默认返回本地文件系统.
    public static FileSystem get(URI uri,Configuration conf)--->
        使用指定的URI获取文件系统,如果指定的URI中没有指定的方案(即没有获得相应的文件系统),返回本地文件系统.
    Configuratin 封装了一个服务端或者客户端的配置,用路径读取配置文件(conf/core.site.xml).

    InputStream input = null;
    try{
        Configuration conf = new Configuration();
        URI uri = URI.create("hdfs://192.168.1.128:9000/work/word.txt");
        FileSystem fileSystem = FileSystem.get(uri, conf);
        //该方法默认使用4KB缓冲区.
        input = fileSystem.open(new Path("hdfs://192.168.1.128:9000/work/word.txt"));
        IOUtils.copyBytes(input, System.out, 2048,false);
    }catch(Exception e ){
        e.printStackTrace();
    }finally{
        try {
            input.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
 3.