wqsbenren的博客

前言：真的是很难受，安装成功一个hadoop集群费了我好长的时间，接下来把我在安装过程中踩坑及填坑的经验分享给大家。 1.master（namenote）启动hadoop成功 执行hadoop dfsadmin -report空间显示为0 正常显示应该如下： 解决： 1.在各slave（DataNote）执行jsp命令查看DataNode进程是否启动成功，若回显结果为 没有显示 则说明D...

要求： package com.wqs.invertedIndex; import java.util.StringTokenizer; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Mapper; imp...

数据： //姓名 收入 支出 时间 zhangsan 6000 0 2016-05-01 lisi 2000 0 2016-05-01 lisi 0 100 2016-05-01 zhangsan 3000 0 2016-05-01 wangwu 9000 0 2016-05-01 wangwu 0 200 2016-05-01 zhangsan 200 400 2016-05-01 需求...

更新版的主要是解决上一篇文章里面比较不合理的地方 上一篇文章中在Reduce类里面重写了cleanup方法用于进行第二次排序，虽然可以实现要求，但是比较不科学 在本文章中将分两个两个MapReduce任务来执行。 补充概念：在Hadoop中，每个MapReduce任务都被初始化为一个job,每个job又可分为两个阶段:map阶段和reduce阶段。这两个阶段分别用两个函数来表示。Map函数接...