rqp123456的博客

1. 修改之前配置集群的名称三台机器执行：cd /opt/module/mv hadoop-2.7.2 hadoop-2.7.2-bak2. 重新解压安装包node-1上执行： cd /opt/software/ tar -zxvf hadoop-2.7.2.tar.gz -C ../module/ cd /opt/module/hadoop-2.7.2/etc/hadoop/3. 修改 hadoop-env.shvim hadoop-env.sh export JAVA_HOME

1 虚拟机的环境准备1.1 下载的软件1、安装Vmware-workstation主要步骤就不讲述，网上可以收到相关Linux虚拟机的相关密钥和安装步骤。2、VM网络设置打开电脑里面的控制面板——>网络和Internet——>网络和共享中心——>更改适配器设置——>VMnet8(右击鼠标，点击属性)—>IPv4(配置IP地址和DNS地址).我的电脑配置如下：3、查看虚拟机的ip地址打开Vmware Workstation 的编辑——>虚拟机

1 MapReduce介绍1.1 MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自身默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 MapReduce核心思想（1）分布式的运算程序往往需要分成至少2个阶段。（2）第一个阶段的MapTask并发实例，完全并行运行，互不相干。（3）第二个阶段的ReduceTask并发