shamoqiuyin的世界

文件操作 Hadoop使用的是HDFS，能够实现的功能和我们使用的磁盘系统类似。并且支持通配符，如*。 查看文件列表 查看hdfs中/user/admin/aaron目录下的文件。 1.         进入HADOOP_HOME目录。 2.         执行sh bin/hadoop fs -ls /user/admin/aaron 这样，我们就找到了hdfs中/user/adm

原文链接：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html 从网上搜到的一篇hadoop的编程实例，对于初学者真是帮助太大了，看过以后对MapReduce编程基本有了大概的了解。看了以后受益匪浅啊，赶紧保存起来。   1、数据去重 　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义