Spark+Hadoop集群搭建:(一)单一节点上搭建Hadoop环境

1 安装JDK

使用Hadoop需要安装Java环境。安装jdk8
输入命令:sudo apt-get update
输入命令:sudo apt-get install openjdk-8-jre-headless
输入命令:java --version 检查当前的java版本,安装成功
在这里插入图片描述

2 下载安装Hadoop

2.1 下载Hadoop

Hadoop官网的下载页面,选择Hadoop2.7.7的binary,点击
在这里插入图片描述
点击后进入如下页面,找到给出的镜像下载点,复制链接在这里插入图片描述
在虚拟机的终端利用wget命令下载,如下图所示。命令格式:wget [链接]
在这里插入图片描述
下载结束后,显示界面如下
在这里插入图片描述
输入ls命令,可以看到,当前目录中已经多了一个hadoop的tar.gz文件,该文件位于系统的主目录下。
在这里插入图片描述

2.2 解压

在终端输入如下图所示的命令(注意要在主目录下)(可以简单学习一下Linux的基本操作)
sudo tar -zxvf [文件名] (文件名你下载的Hadoop压缩包的名称)
在这里插入图片描述
解压后会得到hadoop文件。可以用ls命令查看。
在这里插入图片描述
接着将解压后的文件移动到/usr/local/hadoop目录下
命令 sudo mv hadoop-2.7.7 /usr/local/hadoop
在这里插入图片描述
输入命令ll可以查看移动结果
命令 ll /usr/local/hadoop
在这里插入图片描述

2.3 配置Hadoop环境变量

运行Hadoop前需要设置环境变量。为了每次进入操作系统后,可以自动配置好环境变量,我们需要修改bashrc文件。输入命令 sudo gedit ~/.bashrc
在这里插入图片描述
在文件最末添加配置内容。

2.3.1 设置JDK与Hadoop安装路径

首先,确认JDK的安装路径。在终端(可以新开一个终端)中输入update-alternatives --display java 命令,查看
在这里插入图片描述
其安装路径为上图红框中内容。在bashrc文件中设置JDK的安装路径(注意最后的/bin/java不要),添加
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
再设置Hadoop安装路径
export HADOOP_HOME=/usr/local/hadoop
再设置PATH
export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin
export PATH= P A T H : PATH: PATH:HADOOP_HOME/sbin

2.3.2 设置HADOOP其他环境变量、链接库等

export HADOOP_MAPRED_HOME= H A D O O P H O M E e x p o r t H A D O O P C O M M O N H O M E = HADOOP_HOME export HADOOP_COMMON_HOME= HADOO<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值