hadoop2新特性

一 hdfs联邦

1.hdfs两层模型:

namespace
包括目录/文件 和 块 。它支持所有命名空间相关的文件操作,如对文件和目录的增删改查
block storage service
在namenode中块的管理
datanode集群的注册/心跳检测功能等
处理块报告信息和维护块的位置信息
块的位置信息的增删改查
管理块的冗余信息/创建副本/删除多余副本等

存储
datanode提供本地文件系统上块的存储/读写/访问等




2.   1..x hdfs架构的缺陷

整个集群中有且只有一个命名空间

具体看看这里


3.联邦

使用多个独立的namenode和namespace,每个namenode都是独立的
datanode被所有的namenode使用
每个datanode在所有的namenode上注册,datanode发送心跳信息/块报告到所有namenode,同时执行所有namenode的命令



4.块池

块池是属于单个namespace的一组块
每一个datanode为所有的block pool存储块
datanode是一个物理概念,而block pool是一个 重新将block划分的 逻辑概念
同一个datanode中可以存着属于多个block pool 的块
block pool 允许 一个命名空间 在 不通知其他命名空间 的情况下 为一个新的block 创建 blockID
一个namenode失效不会影响 其下的datanode 为其他namenode服务

5.好处

1. 可以扩展namespace
2.通过增加namenode可解决namenode的单点瓶颈
3.多namenode可以将不同的应用和用户隔离在不同的namespaces




二 快照

1.基本操作
设置一个目录为可快照
hdfs dfsadmin -allowSnapshot <Path>
取消目录可快照
hdfs dfsadmin -disallowSnapShot <Path>
生成快照
hdfs dfsadmin -createSnapShot <Path> [<snapShotName>]
删除快照
hdfs dfsadmin -deleteSnapShot <Path> snapShotName
列出所有可快照目录
hdfs lsSnapshottableDir
比较快照之间的差异
hdfs snapshotDiffer <path> <fromSnapshot> <toSnapshot>

2.快照位置
listing all the snapshots under a snapshotalble directory
hdfs dfs -ls /foo/.snapshot

listing  the files in snapshot s0:
hdfs dfs -ls/foo/.snapshot/s0

copy a file from snapshot s0:
 hdfs dfs -cp /foo/.snapshot/s0/bar /tmp

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值