
Hadoop
zc02051126
这个作者很懒,什么都没留下…
展开
-
Hadoop权威指南-读书笔记
第2章 关于MapReduce2.1 Hadoop集群架构图 2.1 Hadoop集群架构图在图2.1中包括分布式数据处理模型MapReduce,分布式文件系统HDFS。2.1.1 MapReduce模型之Job与NodesØ 一个job由若干task组成:l 若干 map tasksl 若干 reduce tasksØ 控制jo原创 2013-02-18 09:30:02 · 1680 阅读 · 0 评论 -
Hadoop基本使用
1、删除output路径所在的文件HadoopUtil.delete(conf, output);2、获取HDFS上某一路径下的所有文件2.1 方法1FileSystem hdfs = null;try {//hdfs = FileSystem.get(URI.create("hdfs://localhost:9000/"),conf);hdfs = FileSyste原创 2013-04-07 14:15:38 · 1106 阅读 · 0 评论 -
Hive UDF函数
hive的0.7版本没有row_number函数,在http://www.cnblogs.com/ggjucheng/archive/2013/01/30/2868993.html 上找了一段RowNumber.javapackage com.blue.hive.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class RowNumbe原创 2015-09-22 11:17:47 · 1669 阅读 · 0 评论