Hadoop

记录一波Hadoop的各种操作，其实感觉就和Linux的命令一样。

 

"/"为Hadoop的根目录。

 

Hadoop fs -ls -R /

ls:列出文件夹下的文件。-R:递归查找并列出。

 

Hadoop fs -mkdir -p /***

mkdir:创建文件夹。-p:创建多级文件夹。

 

Hadoop fs -put filefromlocal /**

put:将本地文件放到节点中。

 

Hadoop fs -get /** local

get:将节点中的文件放到本地中。

 

Hadoop fs -cat /**

cat:查看文件内容。

 

Hadoop fs -cp /** /***

cp:节点中文件复制。

 

 

 

 Hadoop统计文件中单词数量：

 

1.将源代码打包

 

　　(1):将压缩包移动到CentOS中

 　　　　

 

 

　　(2):移动成功后再移到windows中即可。

　　　　 

 

 

 

 

2.将Mapper、Reducer、Main文件打成jar包。

 

 　　

 

 

 

 

 

 

3.生成读入文件并上传到Hadoop中。

　　 

 

 

 

 

 

 

 

4.用jar命令执行jar包并将结果放入hadoop的out文件夹中。

 

　　 

 

 

 

 

5.查看最后输出的结果。

　　 

 

 

 

　　输入文件内容如下：

 

　　 

 

转载于:https://www.cnblogs.com/LMissher/p/9552482.html