
Hadoop
a1000005aa
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hadoop环境搭建
1. 下载Cygwin(略)2. 安装Cygwin(略)3. 安装ssh, 这里在安装Cygwin的时候,选择cur,再在左边框内输入"ssh"搜索出选项,然后点击框内的default改为instant,这样就会安装ssh.然后安装结束.4. 免登陆ssh设置 *. $ ssh-keygen -t dsa #生成dsa密匙.[无需用户名密码] *. cat ~/.s...原创 2011-10-28 08:52:56 · 149 阅读 · 0 评论 -
Hadoop WordCount解读
因为最近配置了Hadoop的伪分布式和Hbase和Zookeepr的集群环境。现在正准备研究Hadooop,今天第一个Map/Reduce,启动成功,成就啊。[code="java"]package org.frame.base.hbase.hadoop;import java.io.IOException;import java.util.StringTokenizer;...2011-11-01 17:31:29 · 119 阅读 · 0 评论 -
Hadoop WordCount进阶
看了到Hadoop的代码,还是不知道他的执行流程,怎么办呢。我想到了日志,在hadoop的目录下,有log4j,那就用户Log4j来记录Hadoop的执行过程吧.[code="java"]import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Co...2011-11-02 10:50:07 · 178 阅读 · 0 评论 -
HadoopType
Hadoop的类型。在编写Hadoop的程序的时候,需要传递Key/Value.比如从Map开始,会有输入对K1,V1.根据不同的输入类型会得到不同的输入对。map结束后,也会输出K2,V2.在Combiner间段,会有K2,V2作为输入,K3,V3作为输出,当然这个间段不是必须的.在Reducer间段,会有K3,V3作为输入,K4,V4作为输出。 其中的K1,K2,K3,...2011-11-16 09:46:26 · 140 阅读 · 0 评论 -
Hadoop简单的Map/Reduce
[code="java"]/** * 需求: * 统计Hbase数据库中某个字符串的使用人数 * 字符串存储格式 1002;1003,2003,1443;1232,232 * 最后统计 模块 使用人数 * 1 1002 X * ... * 把最后的统计信息存储到结果表中. */public...2011-11-16 10:38:26 · 133 阅读 · 0 评论