super

第2章  关于MapReduce 2.1 Hadoop集群架构 图 2.1 Hadoop集群架构图 在图2.1中包括分布式数据处理模型MapReduce，分布式文件系统HDFS。 2.1.1 MapReduce模型之Job与Nodes Ø  一个job由若干task组成： l  若干 map tasks l  若干 reduce tasks Ø  控制jo

1、删除output路径所在的文件 HadoopUtil.delete(conf, output); 2、获取HDFS上某一路径下的所有文件 2.1 方法1 FileSystem hdfs = null; try { //hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"),conf); hdfs = FileSyste

hive的0.7版本没有row_number函数，在http://www.cnblogs.com/ggjucheng/archive/2013/01/30/2868993.html 上找了一段RowNumber.javapackage com.blue.hive.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class RowNumbe