Hadoop的安装及常见的异常处理

Hadoop安装

彻底关闭防火墙 chkconfig iptables off

查看主机名 hostname

修改主机名 vim /etc/sysconfig/network

修改之后不会立即执行需要重启才会生效，重启指令reboot

临时生效hostname Hadoop01

修改host文件 vim /etc/hosts

将主机ip与主机名进行映射

设置免密登录 ssh-keygen---一直回车

执行操作ssh-copy-id root@hadoop01---在这输入密码

安装hadoop

首先进入home目录下创建software文件夹

使用xftp连接虚拟机----将hadoop以及jdk的安装包拖到/home/software目录下

 

执行rz指令之后开始上传hadoop、JDK安装包成功，开始解压2个安装包

tar -xvf hadoop。。。

配置jdk环境变量vim /etc/profile

JAVA_HOME=/home/Software/jdk8

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME PATH CLASSPATH

让环境变量立即生效source /etc/profile    jdk配置是否成功java -version

将解压的安装包进行重命名mv Hadoop-**** Hadoop

进入到hadoop目录下的etc下的hadoop下修改配置文件vim Hadoop-env.sh

修改core-site.xml      vim core-site.xml

<configuration>
<!--用来指定hdfs的老大，namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!--用来指定hadoop运行时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/software/hadoop/tmp</value>
</property>
</configuration>

修改hdfs-site.xml  vim hdfs-site.xml

<configuration>
<!--指定hdfs保存数据副本的数量，包括自己，默认值是3-->
<!--如果是伪分布模式，此值是1-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!--设置hdfs的操作权限，false表示任何用户都可以在hdfs上操作文件-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

修改 mapred-site.xml
这个文件初始时是没有的，有的是模板文件，mapred-site.xml.template
所以需要拷贝一份，并重命名为mapred-site.xml
执行：cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<!--指定mapreduce运行在yarn上-->
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<!--指定yarn的老大 resoucemanager的地址-->
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<property>
<!--NodeManager获取数据的方式-->
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

配置slaves文件

在hadoop文件目录下创建tmp文件

配置hadoop的环境变量 vim /etc/profile

JAVA_HOME=/home/software/jdk8

HADOOP_HOME=/home/software/hadoop

PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME

格式化namenode
执行：hadoop namenode -format
如果不好使，可以重启linux
当出现：successfully，证明格式化成功

  

进入到hadoop目录下的sbin目录 执行 sh start-dfs.sh  之后执行jps查看

在浏览器启动hadoop01:50070查看

配置eclipse

将hadoop插件hadoop-eclipse-plugin-2.7.1放到eclipse的plugins目录下（打开eclipse）

点击右下角的黄色小象图标（如下图操作）

点击箭头所示的蓝色小象，如下图进行修改

在本地解压hadoop安装包

配置hadoop环境变量

将本地hadoop安装包解压引入eclipse（用于单机测试）

报错：java.net.UnknownHostException: hadoop01

未在本机做hadoop的映射关系

 

使用过程中出现的常见异常：

这个是hadoop插件自身的小问题，就是说这个插件是需要一个叫winutils文件支持的，这个错呢他是一个不确定的因素，是在，mr处出现，将插件hadoopbin

双击打开把里面的文件全部复制一下拷贝到hadoop插件下的bin目录里

 

然后配置hadoop的环境变量Hadoop_Home和Path

 

重启电脑（执行到这一步要是还是不可以，继续下面的操作）

 

在拷贝一份这个文件丢到c:/windows/system32下再重启就可以了