
Hadoop
文章平均质量分 76
serven-star
这个作者很懒,什么都没留下…
展开
-
Hive查询
Hive查询简介,包括排序、连接、子查询和视图。原创 2014-01-27 15:29:46 · 12754 阅读 · 0 评论 -
Hive配置运行及表的操作
Hive的配置运行及表的基本操作。原创 2014-01-26 16:26:47 · 15142 阅读 · 2 评论 -
Hive安装简介
Hive安装及简介原创 2014-01-25 15:14:39 · 4985 阅读 · 0 评论 -
Hadoop2.2.0 单节点安装
单机上安装Hadoop 2.2.0原创 2013-11-29 11:07:04 · 5306 阅读 · 1 评论 -
配置Hadoop开发环境(Eclipse)
Hadop 2.2.0 Eclipse开发环境配置原创 2013-12-18 16:43:33 · 60344 阅读 · 32 评论 -
Hadoop 词频统计(续)
基于Hadoop2.2.0的词频统计实例,最终结果按出现频率排序。原创 2014-01-05 19:40:58 · 6976 阅读 · 0 评论 -
Pig用户自定义函数(UDF)
以词频统计为例,讲解Pig的用户自定义函数(UDF)。原创 2014-01-15 22:49:23 · 12708 阅读 · 2 评论 -
Hadoop 2.2.0词频统计(实现自定义的Partitioner和Combiner)
我们以简单的词频统计为例,逐个讲解Map,Reduce,Partition,Combiner的概念和用法。本例基于Hadoop 2.2.0实测通过。原创 2014-01-04 22:31:02 · 11886 阅读 · 9 评论 -
Hadoop集群设置
Hadoop集群配置部分参数:设置dfs.name.dir 时,通过逗号分隔多个值,可以使namenode将元数据存储到多个副本,以便namenode出错时恢复。dfs.data.dir也可设置多个目录,但是其目的不是为了冗余容错,而是可以循环写入,提高性能。fs.checkpoint.dir也可设置多个目录,以保存检查点。和namenode一样,其支持冗余备份。以上设置的目录,默原创 2014-01-09 22:17:43 · 6897 阅读 · 0 评论 -
简单的MapReduce程序(Hadoop2.2.0)
继上篇文章: 配置Hadoop开发环境(Eclipse)我们以简化版的气温统计为例,演示如何开发一个MapReduce程序。 Eclipse中新建一个MapReduce项目,命名为MaxTemperature。源代码文件新建以下3个类文件,代码依次如下:MaxTemperatureDriver.javapackage com.oss.maxtemperature;原创 2013-12-18 18:05:46 · 18171 阅读 · 14 评论 -
Hive自定义函数
Hive用户自定义函数讲解。包括UDF和UDAF的例子。原创 2014-01-27 19:11:24 · 21883 阅读 · 3 评论