hdfs常用命令

最新推荐文章于 2024-12-03 18:20:39 发布

转载最新推荐文章于 2024-12-03 18:20:39 发布 · 324 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：https://blog.youkuaiyun.com/mark_to_win/article/details/90264771

文章标签：

#Hadoop #MapReduce #hdfs常用命令

Hadoop与MapReduce 专栏收录该内容

33 篇文章

订阅专栏

本文介绍了HDFS常用命令，如创建目录、上传文件、查看目录、删除目录和文件等，还展示了如何使用命令查看文件内容。此外，说明了提交MapReduce任务的命令，运行wordcount程序计算文件中字数，同时提醒运行命令时mapred - site.xml需为缺省空配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hdfs常用命令：
i)马克-to-win @ 马克java社区：防盗版实名手机尾号：73203。 hdfs dfs -mkdir /user 会在hadoop的根目录下创建一个目录。可以通过hdfs dfs -ls / 来查。

或者可以查50070里的utilities。

ii)在bin目录下，继续：
hdfs dfs -put README.txt / （把本地README.txt上传到hadoop的根目录。）
某个目录上传到某个目录： hdfs dfs -put d:/test.txt /user

看根目录：bin\hdfs dfs -ls /
看某一个目录：hdfs dfs -ls /user
删除一个目录（不管空不空）：hdfs dfs -rm -r /user
删除文件： hdfs dfs -rm /README.txt

hdfs dfs -cat /README.txt

iii）提交一个任务，

退到hadoop根目录：bin\yarn jar .\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.4.jar wordcount /README.txt /out

以上命令，会运行wordcount程序，计算/README.txt文件中字数。

注意：想成功运行以上命令，mapred-site.xml一定是缺省空的配置。