hdfs

OK,现在是想要学习一下hdfs的api和shell的使用方法。


首先,需要了解的是hdfs是什么?它有什么特点?它能用来做什么?



hdfs:

使用方式:hdfs  --config confdir command


dfs运行一个文件系统的命令,在hadoop支持的文件系统中。

namenode  -format  格式化dfs文件系统

secondarynamenode :运行DFS的第二个namenode

namenode:运行DFS  namenode

journalnode:  运行DFS的日志节点

datanode:运行DFS  data节点

dfsadmin:   运行DFS管理客户端

haadmin:运行DFS 高可用管理客户端

fsck:运行DFS文件系统检查功能

balancer:运行集群负载均衡功能

jmxget:从namenode或者datanode中获得JMX到处的值(这个其实我不懂)



从结构来说:namenode,secondnamenode,journalnode这是架构。


而hdfs dfs其中涉及的就是具体的针对Hdfs的操作命令了。


我的疑问有很多:


1:hdfs中的权限问题是如何划分的?我看到hdfs中也有组,文件系统树也是一个分叉型的,上面是一个/,几乎和Linux的文件系统是一样的。

2:能否使用命令行查看,各个datanode节点使用的本地的文件系统(ext4或者xfs文件系统中使用的路径)。

3:hdfs内部的文件树的容量是怎么分布的?

比如说你在里面建立了一个目录,空间是怎么分布的?需要分区吗?



(使用hdfs dfs -ls -R /可以查看hdfs内的文件树的所有内容,

关于我想要学习的东西可以通过: hdfs dfs命令看到内部的子命令)





这可以看到一个整体的架构,还有namenode的url,整体的容量,管理节点的内容。


(我感觉有问题,linux下的命令看到的是分区的内容,但是这里看到的却是一个总体的大小??????,

使用hdfs dfs -df -h /idd命令看到的内容也是一样,这是为什么,我认为这不合理啊,应该看到的是内部的目录内容才对啊,为什么看到的还是一个整体的hdfsURL和大小????)







这可以看出每个目录使用的空间大小。




我能否认为hdfs内部设计的文件系统机制没有linux的好?毕竟只是一个另类的东西














评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值