《深入HDFS》--HDFS内存存储

内存存储

HDFS的数据存储由多种，内存存储是其中的一种，其以机器作为数据存储的载体。

内存可能存储的缺点:
1.数据临时保存在内存中，服务一旦停止(或宕机),数据就丢失
2.数据存在内存中，服务停止时持久化到磁盘
为避免以上出现的问题，选用异步持久化的方式处理，即在内存存储新数据时，持久化最旧的数据。
HDFS使用LAZY_PERSIST内存存储策略:

异步存储步骤如下:
l ）对目标文件目录设置 StoragePolicy 为 LAZY_PERSIST 的内存存储策略。
2 ）客户端进程向 NameNode 发起创建／写文件的请求 。
3 ）客户端请求到具体的 DataNode 后 DataNode 会把这些数据块写入 RAM 内存中，同
时启动异步线程服务将内存数据持久化写到磁盘上 。

文件内存存储策略设置

文件存储策略默认使用的是: StoragePolicy.DEFAULT
如果要使用内存存储，可使用如下方法:

1.命令行

    hdfs storagepolicies -setStoragePolicy -path <path> -policy LAZY_ PERSIST

2.调用程序

FSDataOutputStream fos