hadoop:简单的测试例子

hadoop启动后,

1.首先查看下是否有可以上传的目录,避免再创建的话会重名:

    hdfs dfs -ls /

2.创建一个文件夹,专门存放要hadoop要分析的数据文件(注意,这个命令创建的文件夹好像是不存在的,你找不到的,所以你要记住你创建的这个路径文件夹,下面用得着):

    hdfs dfs -mkdir -p /home/input

3.把要分析的文件上传上去:

    hdfs dfs -put /etc/profile /home/input

4.可以查看下是否已经上传上去了:

    hdfs dfs -ls /home/input

5.执行job,其中out目录你可以随便自己定义,命令的意思是通过执行Hadoop自带测试算法“单词wordcount统计算法”,将/home/input下所有的文件执行分析job,得出的结果输出到/home/out(注意:这个输出的目录只能用一次,第二次执行别的计算就得要换个输出目录了)目录里面:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount   /home/input /home/out

6.你可以查看下统计的结果,它会在这个文件夹下生成类似part-****的文件:

    hdfs dfs -ls /home/out

7.将结果输出到terminate中进行查看:

   hdfs dfs -cat /home/out/part-r-00000

 

OVER!是否觉得so easy啊,妈妈再也不用担心我的学习了,^-^。。。。

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值