Hadoop中HDFS及MapReduce相关测试

本文介绍了解决Hadoop安全模式下无法创建文件夹的问题,并通过具体步骤展示了如何使用Hadoop进行WordCount任务,包括创建测试文件、上传至HDFS以及执行WordCount程序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

运行hadoop程序时,在建文件夹时提示:

mkdir:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannotcreate directory /user/netlab312/jeff. Name node is in safemode.

解决的命令:

bin/hadoop dfsadmin -safemode leave #关闭safe mode


(1)创建两个文件

[root@hadoop hadoop]# echo "hello world" >/tmp/uestc_lxp/input/test1.txt

[root@hadoop hadoop]# echo "hello hadoop" > /tmp/uestc_lxp/input/test2.txt

(2)将文件移到hadoop的/ping目录下

[root@hadoop hadoop]# hadoop   fs   -put  /tmp/uestc_lxp/input /*    /ping/    //将input文件夹上传到hdfs的in文件夹下,默认的应该是在user作为base目录

(3)执行wordcount

./bin/hadoop    jar     hadoop-examples-0.20.203.0.jar    wordcount   /ping   /ping/out      其中,/ping指的是输入文件的目录,后面的/ping/out指的是输出文件的目录,内部有相应的分片信息


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值