利用HDFS在Hadoop集群上面运行计算

1.通过Xshell或SecureCRT等软件远程登录到集群中

2.登录后可以利用一些指令对文件进行操作

本地文件系统相关操作

1. 查看当前路径

pwd

2. 进入某个文件夹，如进入user

cd user

3. 查看当前路径有什么文件

ls
#or
dir

4. 退回根目录

cd

5. 创建文件夹（目录），如创建一个filename文件夹

mkdir filename

6. 显示文件内容，如查看当前路径下的test.txt文件

cat test.txt

9. 本地验证代码是否正确

echo "a a b b b c c c c" | python count_mapper.py | sort -k1,1 | python count_reducer.py
head text1.txt | python count_mapper.py | sort -k1,1 | python count_red