HDFS使用

一 HDFS命令行操作演示
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
 
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
 
[root@localhost ~]# hadoop fs -ls /hadoop
Warning: $HADOOP_HOME is deprecated.
 
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:40 /hadoop/mapred
[root@localhost ~]# hadoop fs -mkdir input
Warning: $HADOOP_HOME is deprecated.
 
[root@localhost ~]# hadoop fs -ls
Warning: $HADOOP_HOME is deprecated.
 
Found 1 items
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user/root/input
 
[root@localhost ~]# hadoop fs -ls /
Warning: $HADOOP_HOME is deprecated.
 
Found 2 items
drwxr-xr-x - root supergroup 0 2017-08-20 11:23 /hadoop
drwxr-xr-x - root supergroup 0 2017-08-20 12:40 /user
[root@localhost ~]# hadoop fs -put a.av input/
[root@localhost ~]# hadoop fs -ls /user/root/input
Warning: $HADOOP_HOME is deprecated.
 
Found 1 items
-rw-r--r-- 3 root supergroup 0 2017-08-20 12:44 /user/root/input/a.av
[root@localhost ~]# hadoop fs -cat input/a.av
Warning: $HADOOP_HOME is deprecated.
 
[root@localhost ~]# hadoop fs -get input/a.av aa.av
Warning: $HADOOP_HOME is deprecated.
 
[root@localhost ~]# ls
123 cangls fping-4.0 monitor_man shell16.sh system_man.sh
aa.av canyls fping-4.0.tar.gz monitor_man.sh shell5.sh Templates
a.av ChangeLog-2.6.0 hping-master Music student.txt test
 
[root@localhost ~]# hadoop dfsadmin -report
Warning: $HADOOP_HOME is deprecated.
 
Configured Capacity: 21464350720 (19.99 GB)
Present Capacity: 21046108160 (19.6 GB)
DFS Remaining: 21046083584 (19.6 GB)
DFS Used: 24576 (24 KB)
DFS Used%: 0%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0
 
-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)
 
Name: 127.0.0.1:50010
Decommission Status : Normal
Configured Capacity: 21464350720 (19.99 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 418242560 (398.87 MB)
DFS Remaining: 21046083584(19.6 GB)
DFS Used%: 0%
DFS Remaining%: 98.05%
Last contact: Sun Aug 20 12:56:33 CST 2017
### Hadoop HDFS 使用教程与操作指南 #### 了解HDFS基本结构 HDFS由多个组件构成,主要包括NameNode、DataNode以及Secondary NameNode。NameNode负责管理文件系统的命名空间和控制外部访问;DataNode存储实际的数据块并执行数据块的读写操作;Secondary NameNode辅助NameNode完成部分任务,如定期合并Fsimage和Edits文件[^4]。 #### 初始化环境准备 在使用HDFS之前,需确保已安装好Hadoop集群,并启动相应服务。通常通过`start-dfs.sh`脚本来开启必要的守护进程。 #### 常见命令行工具介绍 对于日常管理和维护而言,掌握命令行工具至关重要。这里主要讨论两个常用的命令前缀——`hadoop fs`和`hdfs dfs`,两者功能相同,在不同版本间可能有所偏好[^1]。 - **查看帮助文档** 获取所有可用选项的帮助信息: ```bash hdfs dfs -help ``` - **创建目录** 创建一个新的目录于指定路径下: ```bash hdfs dfs -mkdir /user/hadoop/testdir ``` - **上传文件至HDFS** 将本地机器上的单个文件或整个目录复制到分布式文件系统中: ```bash hdfs dfs -put local_file_path hdfs_directory_path ``` - **下载文件** 把位于远程服务器端的目标对象拉取回当前计算机保存: ```bash hdfs dfs -get hdfs_source_path local_destination_path ``` - **删除资源** 移除不再需要的对象(注意此动作不可逆): ```bash hdfs dfs -rm hdfs_object_path ``` - **显示详情列表** 展示特定位置下的内容概览及其属性特征: ```bash hdfs dfs -ls / ``` 上述指令覆盖了大部分基础场景的应用需求,更多高级特性可参阅官方手册进一步学习探索。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值