deqingguo的专栏

一、Hadoop的安装。                http://blog.youkuaiyun.com/deqingguo/article/details/6907372二、Nutch1.3的下载安装                svn co http://svn.apache.org/repos/asf/nutch/branches/branch-1.3/  ~/nutc

1、streaming默认的情况下，mapper和reducer的返回值不是0，被认为异常任务，将被再次执行，默认尝试4次都不是0，整个job都将失败java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 at org.apache.hadoop.streamin

在通过Hadoop的C的API 访问HDFS的时候，编译和运行出现了不少问题，在这边，做个总结吧：系统：Ubuntu11.04，Hadoop-0.20.203.0样例代码就是参考官方文档中提供到：#include "hdfs.h" int main(int argc, char **argv) { hdfsFS fs = hdfsConnect("defaul

在Hadoop的streaming中有一个选项是指定输入输出格式化的-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional.-outputformat TextOutputFormat(default)|JavaClassName Optional.

1、 在Apache的官网下载Hadoop的比较稳定的版本，我现在下的是Hadoop0.20.203.0.2、 配置java环境。1.6版本以上。3、 解压Hadoop，设置conf下的hadoop-env.sh，设置里面的JAVA_HOME=/usr/lib/jvm/java-6-sun.4、export HADOOP_INSTALL=/home/guoguo/h

坑爹呀，这个错误，纠结了我好几天，终于解决了，我觉的很有必要单独拿出来与大家分享下：原因就是这个是Nutch1.3在与Hadoop0.20.203.0整合的时候的一个bug，在官网上有做出了相应的修改：修改方法就是得修改两个文件：加号表示添加，减号表示删除~~修改的第一个文件是：src/java/org/apache/nutch/parse/ParseOutputF

Hadoop Counters是用于计数的，我们可以定义一些计数器，用于执行过程的计数，在执行完任务，会将计数器的值打印在控制台，也可以通过WEB查看，方便调试，因为在执行MapReduce的过程中，不能打印信息：定义格式如下：HadoopPipes::TaskContext::Counter*mapCounter;注册：mapCounter = context.getCounte

Hadoop版本：Hadoop-0.20.204Hadoop的Streaming框架允许任何程序语言实现的可执行程序或者脚本在Hadoop MapReduce中使用，方便已有程序向Hadoop平台移植。Streaming的原理是用Java实现一个包装用户程序的MapReduce程序，该程序负责调用MapReduce Java接口获取key/value对输入，创建一个新的进程启动包装的用户程

一年一度的Hadoop中国2011云计算大会（Hadoop in China 2011，HiC2011）将于12月2日至3日在北京召开，这将是Hadoop in China社区的一次年度技术盛会！ 大会将联合国际和国内Hadoop及云计算技术应用的成功企业，并引入国际研究界对于云计算及DISC（Data Intensive SuperComputing）研究方向的学术观点。通过技术应用和科

Hadoop0.20.203.0在关机重启后，namenode启动报错：2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist.2011-10-21 05:22:20,

Hadoop的单节点安装见：http://blog.youkuaiyun.com/deqingguo/article/details/6907372在单节点的基础上做一些小的改动，集群就ok了～假如有两台机器，59.77.132.34和59.77.132.155，前者做master，后者作为slave：1、可以修改/etc/hosts，对ip进行映射，方便管理。比如在其中添加：59