运行自己写的wordcount程序

运行自己写的wordcount程序

1.将生成的jar文件用xfpt上传到namenode节点，我上传的路径是/opt/hadoop/share/hadoop/mapreduce

2.在/input文件中上传数据 (//opt/hadoop/file 对应 /input 为同级目录 /input下 /file1.txt不可存在 才能上传成功)

hadoop dfs -put /opt/hadoop/file/file1.txt /input

3.在此路径/opt/hadoop/share/hadoop/mapreduce下执行如下命令

hadoop jar /opt/hadoop/share/hadoop/mapreduce/wc.jar hadoop.task /input /output/02
(1)我的wordcount程序名叫wc.jar
(2)我的wordcount程序主类名叫hadoop.task
(3)我用的是eclipse,所以程序主类名可以到eclipse中复制出来–>
包下的class文件左边有一个向下的大于号，点一下，就会出现一个绿色圆形符号(这个就是主类)，再一次点它旁边的向下的大于号，出现的就是程序中写的方法名，用鼠标点击一下主类，然后右键点击一下，会出现copy qualified name，这个复制的就是程序主类名

4./input目录下如果有3个txt, file1.txt,file2.txt,file3.txt, 3中的/input可以指明到具体哪一个文件，亦可以全部输出

hadoop jar /opt/hadoop/share/hadoop/mapreduce/wc.jar hadoop.task /input/file1.txt /output/02
hadoop jar /opt/hadoop/share/hadoop/mapreduce/wc.jar hadoop.task /input /output/03