Hadoop_2.7.2安装配置

最新推荐文章于 2020-10-09 18:58:10 发布

剁椒鱼不要头

最新推荐文章于 2020-10-09 18:58:10 发布

阅读量830

点赞数

分类专栏： Hadoop 文章标签： hadoop 大数据 hdfs linux mapreduce

本文链接：https://blog.youkuaiyun.com/mcajax/article/details/104261990

版权

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

安装Hadoop前需先安装Jdk，可参考文章：Linux_Jdk8_x64安装配置

1、下载安装包
方式一、官网下载：
https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/
方式二、优快云资源快速下载：快速下载Hadoop安装包

２、上传压缩包到/usr/local/software/下，并解压到/usr/local目录下
tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/

3、添加环境变量
vim /etc/profile
在末尾添加以下内容：

#HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

4、刷新配置
source /etc/profile

5、配置core-site.xml
添加内容：

<!-- 指定HDFS中NameNode的地址 -->
<property>
		<name>fs.defaultFS</name>
      <value>hdfs://bigdata103:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop-2.7.2/data/tmp</value>
</property>

6、配置hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144

7、配置hdfs-site.xml

<property>
		<name>dfs.replication</name>
		<value>3</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>bigdata104:50090</value>
</property>

8、yarn-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144

9、yarn-site.xml

<!-- Reducer获取数据的方式 -->
<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>

<!-- 指定YARN的ResourceManager的地址 -->
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>bigdata103</value>
</property>

10、mapred-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_144

11、mapred-site.xml
复制一份mapred-site.xml文件
cp mapred-site.xml.template mapred-site.xml
添加内容：

<!-- 指定MR运行在Yarn上 -->
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
</property>

12、配置slave
编辑hadoop安装目录中etc/hadoop/slaves文件
添加以下内容(不可以有空格)：

bigdata102
bigdata103
bigdata104

13、将Hadoop文件夹发送到其他各节点上

14、格式化Namemode
hadoop namenode -format

15、启动集群
通过jps查看启动进程