Hadoop权威指南-DFSClient

第9章 HDFS客户端

1. DFSClient的构造和关闭

DFSClient()构造方法的功能：

1） 读取配置项信息并初始化成员变量

2） 建立到NameNode的IPC连接（createRPCNamenode（）和createNamenode（））

 

DFSClient.close()关闭客户端的功能：

1） leasechecker.close()//关闭租约管理器

2） clientRunning=false;//中断DFSClient对象打开的输入输出流

3） RPC.stopProxy(rpcNamenode);

 

2.文件和目录、系统管理相关任务

DFSClient.checkOpen();//检查客户端是否关闭

然后通过RPC对象调用相应的远程Namenode方法完成操作

 

3.输入流

DFSClient.open();//打开文件构造并返回一个DFSInputStream对象

${dfs.read.prefetch.size}预取读的大小是10个数据块大小

${io.file.buffer.size}输入缓冲区大小

DFSInputStream.read();//读文件

DFSInputStream.close();//关闭流

 

4.DistributedFileSystem的实现

DistributedFileSystem是适配器模式的典型应用

构造DistributedFileSystem时会默认加载”hdfs-default.xml”和”hdfs-site.xml”文件

 

5.HDFS常用工具

Dfsadmin和shell

Hadoop fs –copyFromLocal 本地文件 HDFS文件

ToolRunner.run()创建必要的Configuration对象

GenericOptionsParser解析FsShell参数，并设置到Configuration中

hadoop fs –fs hdfs://example.com:54300 设置默认的文件系统

hadoop fs –D fs.default.name=hdfs://example.com:54300