基于Docker搭建hadoop分布式+spark-standalone集群

原文链接：https://blog.youkuaiyun.com/lvxiangyu11/article/details/102767444

软件：

宿主机：Ubuntu18.04
Docke
JDK
Hadoop
Spark

一.安装基本环境

1.安装Docker

更新apt
sudo apt-get update

让apt支持https
sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common

安装官方GPG密钥
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudo add-apt-repository “deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable”

( 阿里云
//curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
// sudo add-apt-repository “deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable”)

安装docker-ce

sudo apt-get update
sudo apt-get install docker-ce
sudo apt-get install docker-ce-cli
sudo apt-get install containerd.io

2.在Docker中拉取Ubuntu18.04镜像并创建容器

#拉取ubuntu 18.04镜像
sudo docker pull ubuntu:18.04
#查找拉取的镜像id
sudo docker images
#启动一个master容器并绑定端口
sudo docker run -dit -h master -p 9870:9870 -p 8080:8080 -p 4040:4040 -p 8088:8088 -p 8099:8099
#查找创建的容器id
sudo docker ps
#容器重命名
sudo docker rename x master
#进入容器
sudo docker exec -it /bin/bash
或者容器名进入：
sudo docker exec -it master /bin/bash

3.配置master容器

进入容器：sudo docker exec -it master /bin/bash
更新apt
apt-get update
apt-get pagrade

#安装net-tools
apt-get install net-tools

#安装vim
apt-get install vim

#安装ssh，配置无密码登录
apt-get install openssh-server
ssh-keygen -t rsa -P ‘’
回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

#查询是否开启ssh
/etc/init.d/ssh status
#开启ssh
/etc/init.d/ssh start
#配置开机启动
vim /etc/rc.local
#在exit 0语句前加入
/etc/init.d/ssh start

4.安装Java

#直接从虚拟机中用指令复制到docker容器中：
sudo docker cp ~/下载/jdk-8u202-linux-x64.tar.gz master:/usr/local/
或sudo docker cp ~/下载/jdk-8u202-linux-x64.tar.gz 容器ID/:/root/
即 sudo docker cp 安装包路径 容器名/容器id:放置的位置
tar -zxvf jdk-8u202-linux-x64.tar.gz
#重命名为JDK8
mv jdk1.8.0_202 jdk
#配置环境变量
vim ~/.bashrc #打开环境变量配置文件
#增加下面内容到该文件最后
export JAVA_HOME=/usr/local/jdk
export PATH=$JAV{A}_{H}OME$