public class HDFSUtils { /** * TODO: 获取文件系统 * @return */ public static FileSystem getFileSystem(){ FileSystem hdfs = null ; try{ Configuration conf = new Configuration(); hdfs = Fi

15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable15/01/30 10:08:17 ERROR security.UserGroupInformatio

1.       MapReduce编程模型     一种分布式计算模型框架，解决海量数据的计算问题。     MapReduce将整个并行计算过程抽象到两个函数：1)       Map（映射）：对一些独立元素组成的列表的每一个元素进行指定的操作，可以高度并行；2)       Reduce（化简）：对一个列表的元素进行合并；一个简单的MapReduce程序只要制定map()