Centos、docker下搭建hadoop

大致步骤:
1、在Centos7中安装docker。
2、在docker中安装centos镜像。
3、在docker的centos镜像中安装部署java,hadoop。
4、保存centos镜像至少3份(2份也行,把Centos当成主节点。3份镜像分别为一个主节点和两个从节点)。
5、在3个centos镜像中配置ssh免密登陆。

1、在Centos7下面安装docker
(1)移除旧版: yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \docker-latest-logrotate \docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine
(2)安装工具:yum install -y yum-utils device-mapper-persistent-data lvm2
(3)添加软件源信息:yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
(4)更新yum缓存:yum makecache fast
(5)安装docker-ce:yum -y install docker-ce
(6)启动:systemctl start docker
(7)查看:systemctl status docker
(8)运行hello-world:docker run hello-world

2、在docker中安装centos镜像
(1)查找镜像:docker search centos
(2)下载镜像:docker pull centos
(3)查看镜像:docker images
(4)运行镜像:docker run -itd centos:latest /bin/bash
(5)查看容器:docker ps
(6)进入镜像:docker attach 容器id
(7)停止容器:docker stop 容器id
(8)删除容器:docker rm 容器id
如果centos镜像中运行systemctl报错,按下面步骤运行镜像
(1)运行镜像:docker run -d --name centos --privileged=true centos:lstest /usr/sbin/init
(2)进入镜像:docker exec -it centos /bin/bash

3、在docker的centos镜像中安装部署java,hadoop
(1)安装部署java:Linux下安装部署Java
(2)安装部署hadoop:ubuntu下部署hadoop参考hadoop部分

4、 保存centos镜像
部署完hadoop后使用ifconfig或者ip add查看ip,若都没有,就用yum下载ifconfig吧。
(1)保存镜像:

docker commit  容器id  hadoop/master:v1
docker commit  容器id  hadoop/slave1:v1
docker commit  容器id  hadoop/slave2:v1

(2)运行主节点镜像:docker run -itd -p 8088:8088 -p 8042:8042 -p 50070:50070 --name master --privileged=true hadoop/master:v1 /usr/sbin/init这里映射了8088,8042和50070,3个端口
(3)运行从节点镜像:docker run -d --name slave1 --privileged=true Hadoop/slave1 /usr/sbin/init
(4)进入镜像:docker exec -it slave1 /bin/bash
(5)配置ssh免密登陆:Ubuntu配置ssh免密登陆参考ssh免密登陆部分。
(6)在主节点镜像中运行

hdfs namenode -format
start-dfs.sh
start-yarn.sh
netstat -ntpl
jps

Centos7若是虚拟机,在电脑上访问Centos7的ip:50070/8088/8042可分别看到对应的信息。

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值