ubuntu下安装hadoop

 

一.前言

　　Hadoop是一个由Apache基金会所开发的分布式系统基础架构，说白了就是一个庞大的任务，一台机器处理不过来，就分割成若干个子任务，让若干个机器来处理，最后将结果汇总。刚接触hadoop可能理解的不透彻，但是这都不重要，先把它安装下来再说，这里把我的整个安装步骤纪录下来。

二.安装Hadoop

　　1.创建一个专门的hadoop管理员用户

　　命令行执行：

　　//创建组用户

　　sudo addgroup hadoop


　　sudo adduser -ingroup hadoop hadoop　　

　　//配置权限

　　sudo vim /etc/sudoers　

　　文件内添加 hadoop  ALL=(ALL:ALL) ALL

　　//创建hadoop文件夹并将属主用户改为hadoop

　　sudo mkdir /hadoop

　　sudo chown -R hadoop:hadoop hadoop

 

　　2.配置hadoop用户ssh无密码登录

　　命令行执行：

　　su hadoop

　　ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　　cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　　用ssh localhost测试一下是否还需输密码登录，如果还要密码，可能是根目录的权限问题。

　　

　　3.安装jdk

　　首先java -version看一下是否安装java环境，如出现jvm版本号信息，则表示已有java环境，我的是会出现系统默认安装的openjdk，这里我把它卸载重新安装了jdk，步骤如下：

　　卸载自带的openjdk：

　　sudo apt-get purge openjdk*

　　进入oracle官网http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下载适合版本的jdk

　　将安装包jdk-8u45-linux-i586.gz解压并copy到/usr/java下

　　sudo tar -zxvf jdk-8u45-linux-i586.gz

　　cp -r jdk-8u45-linux-i586.gz /usr/java

　　配置环境变量：

　　sudo vim /etc/profile

　　写入：　　

　　export JAVA_HOME=/usr/java/jdk1.8.0 _45
　　export JRE_HOME=${JAVA_HOME}/jre
　　export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

　　export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

　　保存退出执行

　　source /etc/profile

　　修改系统jdk：

　　命令行执行

　　sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0 _45/bin/java 300 

　　sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0 _45/bin/javac 300 

　　选择你新安装的jdk版本

　　sudo update-alternatives --config java 

　　sudo update-alternatives --config javac

　　

　　最后再执行java -version看下java版本信息，如果失败可能是你安装的jdk不是你系统类型匹配的版本

 

　　4.安装hadoop

　　官网下载hadoop，我下载的是hadoop-1.2.1.tar.gz

　　解压到之前新建的hadoop文件夹里

　　配置hadoop环境变量：　　

　　export HADOOP_HOME_WARN_SUPPRESS=1

　　export HADOOP_HOME=/hadoop/hadoop-1.2.1

　　export PATH=${PATH}:${HADOOP_HOME}/bin:${JAVA_HOME}/bin:${JRE_HOME}/bin

 

　　进入conf文件夹更改4个配置文件：

　　1.hadopp-env.sh

　　

 

　　2.mapred-site.xml

　　

 

 

　　3.core-site.xml

　　

 

 

　　4.hdfs-site.xml

　　

 

　　这几个文件都只是一些简单的默认配置

　　格式化hdfs：

　　命令行执行

　　$HADOOP_HOME/bin/hadoop namenode -format

　　出现下图即成功

　　

 

 

　　启动hadoop:

　　命令行执行

　　$HADOOP_HOME/bin/start-all.sh

　　出现下图则成功

　　

 

　　停止hadoop的命令为：

　　$HADOOP_HOME/bin/stop-all.sh

 

至此，hadoop的简单搭建就完成了,接下来就是深入了解～～

 

转载于:https://www.cnblogs.com/xiangming-simon/p/4483015.html