简要描述如何安装配置apache的一个开源Hadoop

title: ‘’‘简要描述如何安装配置apache的一个开源Hadoop’’’
date: 2020-05-14 10:54:44
tags:

1）使用 root 用户登录

2）修改 IP

【ifconfig -a】

【vim /etc/sysconfig/network-scripts/ifcfg-etho】

3）修改 host 主机名

【hostname】
【vim /etc/sysconfig/network】

【vim /etc/host】

4）配置 SSH 免密码登录

【ssh localhost】
【cd ~/.ssh/】
【ssh-keygen -t rsa】会有提示，都按回车
【cat ./id_rsa.pub >> ./authorized_keys】

5）关闭防火墙

查询防火墙状态：【service iptables status】
关闭防火墙：【service iptables stop】

6）安装 JDK 7）解压 hadoop 安装包

①在/opt目录下创建module 跟 software 文件夹
【cd /opt】
【mkdir module】
【mkdir software】
②将JDK跟 hadoop 安装包拖进 software 文件夹 （Xftp、 SecureFX、配置共享文件夹等）

③解压安装文件到/opt/module/
【tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/】
【tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/】

8）配置 hadoop 的核心文件 hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml

$$窍诀：遇到env就是JAV{A}_{H}OME$$

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml】

<!-- 指定HDFS中NameNode的地址 -->

<property>

	<name>fs.defaultFS</name>

	<value>hdfs://B0:9000</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

	<name>hadoop.tmp.dir</name>

	<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh】

export JAVA_HOME=/opt/module/jdk1.8.0_144

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml】

<!-- 指定HDFS副本的数量 -->

<property>

​	<name>dfs.replication</name>

​	<value>1</value>

</property>

对mapred-site.xml.template重新命名为 mapred-site.xml：【mv mapred-site.xml.template mapred-site.xml】

【sudo vim /opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml】

<!-- 历史服务器端地址 -->

<property>

<name>mapreduce.jobhistory.address</name>

<value>B1:10020</value>

</property>

<!-- 历史服务器web端地址 -->

<property>

  <name>mapreduce.jobhistory.webapp.address</name>

  <value>B1:19888</value>

</property>

9）配置 hadoop 环境变量

④打开/etc/profile文件，文件末尾添加JDK及HADOOP路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

##HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.7.2

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

让修改后的文件生效：【source /etc/profile】

测试JDK安装成功：【java -version】

测试HADOOP安装成功：【hadoop version】

10）格式化 hadoop namenode-format

【bin/hdfs namenode -format】

11）启动节点 start-all.sh

【sbin/start-all.sh】