基于docker搭建跨主机的spark集群并配置notebook(一)

一、制作docker镜像

知识水平尚有欠缺，对于dockerfile那一套理论也不熟悉，所以采取的制作一个docker镜像作为启动集群的载体：

该集群有12个节点，即12个容器，平均分配在两个宿主机上，具体名字是master、node1、node2、......、node11

（一）在宿主机安装docker:

不同的系统安装docker的方法

（二）拉取一个docker镜像

我选择的ubuntu 16.04

#docker pull ubuntu:16.04

（三）启动一个容器

#docker run -v /home/docker/software/:/software -it ubuntu：16.04

-v参数将宿主机的/home/docker/software目录映射到了容器的software目录下

（四）将需要安装的软件拷贝到宿主机/home/docker/software目录下

1、jdk(1.8)

2、Zookeeper(3.4.5)

3、Hadoop(2.7.3)

4、Spark(2.1.0)

5、scala(2.10.5)

6、Anaconda2(4.3.0)

在容器的/software目录下就可以看到这些安装包了

（五）在容器中安装ssh

#apt-get install ssh

如果下载速度很慢，建议换下源

将ssh服务配置为开机启动

#vim ~/.bashrc

加入/usr/sbin/sshd

#vim /etc/rc.local

加入/usr/sbin/sshd

生成访问密钥

#cd ~/
#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cd .ssh
#cat id_rsa.pub >> authorized_keys

（六）安装jdk

解压/software目录下的jdk安装包，将解压后的jdk文件夹移动到新建的/usr/java目录下，重命名为jdk

配置环境变量

#vim ~/.bashrc

在末尾添加

export JAVA_HOME=/usr/java/jdk
export PATH=$PATH:$JAVA_HOME/bin

检查是否安装成功

#java -version

（七）安装Zookeeper

将zookeeper安装包解压到/root目录下并重命名为zookeeper

#mv /software/zookeeper-3.4.5.tar.gz ~ 

#tar -zxvf software/zookeeper-3.4.5.tar.gz 
#mv ~/zookeeper-3.4.5 zookeeper

配置zookeeper

#cd ~/zookeeper/conf/
#cp zoo_sample.cfg zoo.cfg
#vim zoo.cfg

修改dataDir = /root/zookeeper/tmp

在最后添加