目录
Mapreduce是什么
Mapreduce是一个分布式运算程序的编程框架,是用户开发“基于hadoop的数据分析应用”的核心框架;
核心功能:将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个hadoop集群上
集群环境说明
注:本例在 20192697-1伪分布式配置,20192697-2,20192697-3,20192697-4,20192697-5 进行高可用环境配置,
在20192697-1实践编程
伪分布式:20192697-1 完全分布式(高可用搭建) 主机名 角色 服务组件 20192697-2 NameNode(01) NameNode、JournalNode、Zookeeper、ZKFC 20192697-3 NameNode(02) NameNode、JournalNode、Zookeeper、ZKFC、DataNode、NodeManager 20192697-4 ResourceManager DataNode、JournalNode、Zookeeper、NodeManager、ResourceManager 20192697-5 ResourceManager DataNode、NodeManager、ResourceManager
一.伪分布式(单节点)配置修改
(1)mapred-site.xml
cd /etc/hadoop/hadoop/etc/hadoop #进入自己hadoop的配置文件目录 ls #查看该目录下有哪些文件与文件夹 mv mapred-site.xml.template mapred-site.xml #将mapred-site.xml.template重命名为mapred-site.xml #如果自己已经是mapred-site.xml这个名字,忽略这一步 vim mapred-site.xml #修改mapred-site.xml文件
<property>