FusionInsight大数据开发---HDFS应用开发（2）

HDFS应用开发

HDFS(Dadoop Distributed File System)

HDFS概述

• 高容错性
• 高吞吐量
• 大文件存储

HDFS架构包含三部分

1. Name Node
2. DataNode
3. Client

HDFS数据写入流程

 

HDFS应用开发方式

• HDFS Client

Java/shell/Web UI

• Kerbors控制

HDFSJava应用开发

下载客户端/获取样例工程/生产样例工程/导入eclipse/编码

Java开发流程

• 初始化
• 目录操作
• 文件读取
• 文件写入/追加（

1. 初始化FSDataOutputstream对象
2. 使用FSDataOutputStream对象初始化BufferedOutputStream.
3. 使用BufferedOutputStream.write写入HDFS数据。
4. 使用BufferedOutputStream.flush和FSDataOutputstream.hflush()将数据刷新到HDFS。
5. 关闭数据流。)

应用开发规范

规范1：Java开发时，申请资源需要及时释放。
规范2：HDFS不适用于存储大量小文件。
规范3：HDFS中数据备份3份即可。
规范4：如果有多线程进行login的操作，当第一次登陆成功后，所有线程再次登陆时应该使用relogin的方式。

 

更新中......

转载于:https://www.cnblogs.com/cainiao-chuanqi/p/11006088.html