lovefef4的专栏

1.基本的环境配置三个虚拟机节点，CentOS7系统，安装jdk1.8版本 节点 192.168.128.104 master 192.168.128.107 slave 192.168.128.108 slave 2.设置免密登录 进入到/root/.ssh/下 ssh-keygen -t rsa 生成秘钥和公钥 cat ./id_dsa.pub >>

package hadoop01;import java.io.IOException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; imp

本文参考官方文档 一：典型的HA集群介绍为了解决NameNode的单节点故障问题，hadoop2.0以后的版本可以配置多个NameNode节点，如上图所示。在两个单独的计算机中配置连个NameNode 节点，在同一时间只有一个NameNode节点处于活跃状态，另一个节点处于热备用状态。Active NameNode 节点负责集群中所有客户端的操作，Standby NameNode 节点则实时收集整个

1、MapReduce中数据流动（1）最简单的过程： map - reduce （2）定制了partitioner以将map的结果送往指定reducer的过程：　map - partition - reduce （3）增加了在本地先进性一次reduce（优化）过程：　map - combin(本地reduce) - partition -reduce2、Mapreduce中Part

–Mapper import java.io.IOException; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Reducer; public class HotReduce extends Reducer<KeyPair, Text, KeyPair, Text>{