Windows下Linux子系统 - Hadoop配置

Java环境配置

1.1 JDK安装

sudo apt-get install openjdk-8-jdk

1.2 环境变量配置

命令行执行

sudo vim /etc/profile

输入

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

保存退出到命令行，使配置文件生效

source /etc/profile

检查是否配置正确

java -version

2 新建Hadoop用户

新建用户
以下hadoop是你的用户名

sudo useradd -m hadoop -s /bin/bash

设置密码
一下***是你的密码

sudo passwd ***

安装SSH、配置SSH无密码登陆
Hadoop 中的集群，单点模式是需要使用到SSH登录,Ubuntu默认参数了SSH client, 此外我们还需要安装SSH Server, 执行如下的命令：

sudo apt-get install openssh-server
ssh localhost

用证书登陆记得编辑sudo vi /etc/ssh/sshd_config中把密钥登陆打开

sudo vi /etc/ssh/sshd_config

修改PubkeyAuthentication

PubkeyAuthentication yes

3 Hadoop的安装配置

下载Hadoop
推荐使用国内的镜像下载Hadoop

sudo wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

Hadoop会更新，如果报错404，可以到以下网站查看有哪些版本，并修改网站。

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

下载完成后移动压缩包至/opt/下

sudo mv hadoop-2.9.2.tar.gz /usr/local

解压缩

cd /usr/local
sudo tar -zxvf hadoop-2.9.2.tar.gz
sudo mv ./hadoop-2.7.4/ ./hadoop            # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop       # 修改文件权限

查询是否下载成功