java.io.IOException: Mkdirs failed to create file

最新推荐文章于 2023-04-08 18:09:17 发布

原创最新推荐文章于 2023-04-08 18:09:17 发布 · 6.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #java #开发工具

hadoop 专栏收录该内容

20 篇文章

订阅专栏

本文总结了Hadoop中常用的文件操作命令，包括创建目录、上传文件、查看文件等，并介绍了Hadoop系统的管理与更新指令，如进入和退出安全模式、负载均衡及查看基本统计信息等。

[转]http://blog.youkuaiyun.com/xiaoping8411/article/details/7429209


一：文件操作
1、建立目录
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir
在HDFS中建立一个名为testdir的目录
2、上传文件到HDFS
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -put /home/hadoop/test.zip testfile.zip
把本地文件large.zip拷贝到HDFS的根目录/user/hadoop/下，文件名为testfile.zip
3、查看现有文件
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -ls
4、从Hadoop分布式系统复制到本地文件系统查看
[hadoop@hadoop1:hadoop]$bin/hadoop dfs -get out /home/hadoop/output
5、查看HDFS上文件
[hadoop@hadoop1:hadoop]$hadoop dfs -cat out/*
6、删除HDFS上文件
[hadoop@hadoop1:hadoop]$hadoop dfs -rmr out
二：管理与更新
1、报告HDFS的基本统计信息
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -report
2、退出安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode leave
3、进入安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode enter
4、负载均衡，平衡各个节点的分布
[hadoop@hadoop1:hadoop]$bin/start-balancer.sh
5、返回是否安全模式
[hadoop@hadoop1:hadoop]$hadoop dfsadmin -safemode get
6、查看块信息
[hadoop@hadoop1:hadoop]$hadoop fsck / -files -blocks
7、并行复制
[hadoop@hadoop1:hadoop]$hadoop distcp -help hdfs://namenode1/foo hdfs://namenode2/bar