Spark+Hadoop集群搭建:(一)单一节点上搭建Hadoop环境
1 安装JDK
使用Hadoop需要安装Java环境。安装jdk8
输入命令:sudo apt-get update
输入命令:sudo apt-get install openjdk-8-jre-headless
输入命令:java --version 检查当前的java版本,安装成功
2 下载安装Hadoop
2.1 下载Hadoop
到Hadoop官网的下载页面,选择Hadoop2.7.7的binary,点击
点击后进入如下页面,找到给出的镜像下载点,复制链接
在虚拟机的终端利用wget命令下载,如下图所示。命令格式:wget [链接]
下载结束后,显示界面如下
输入ls命令,可以看到,当前目录中已经多了一个hadoop的tar.gz文件,该文件位于系统的主目录下。
2.2 解压
在终端输入如下图所示的命令(注意要在主目录下)(可以简单学习一下Linux的基本操作)
sudo tar -zxvf [文件名] (文件名你下载的Hadoop压缩包的名称)
解压后会得到hadoop文件。可以用ls命令查看。
接着将解压后的文件移动到/usr/local/hadoop目录下
命令 sudo mv hadoop-2.7.7 /usr/local/hadoop
输入命令ll可以查看移动结果
命令 ll /usr/local/hadoop
2.3 配置Hadoop环境变量
运行Hadoop前需要设置环境变量。为了每次进入操作系统后,可以自动配置好环境变量,我们需要修改bashrc文件。输入命令 sudo gedit ~/.bashrc
在文件最末添加配置内容。
2.3.1 设置JDK与Hadoop安装路径
首先,确认JDK的安装路径。在终端(可以新开一个终端)中输入update-alternatives --display java 命令,查看
其安装路径为上图红框中内容。在bashrc文件中设置JDK的安装路径(注意最后的/bin/java不要),添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
再设置Hadoop安装路径
export HADOOP_HOME=/usr/local/hadoop
再设置PATH
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin
2.3.2 设置HADOOP其他环境变量、链接库等
export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOO<