全国职业院校技能大赛2022年大数据技术与应用平台搭建

前言

根据全国职业院校技能大赛2022年大数据技术与应用规程整理大数据平台搭建部分，如果有错误指出请提出改正，谢谢

资料

平台搭建组件包

链接：https://pan.baidu.com/s/1KeATNXjhMA_skQvCmK3ZQQ?pwd=21to
提取码：21to

前提条件

竞赛内容

竞赛软件环境

技能要求

依据大数据平台的技术特点独立解压、安装、配置。对不同的组件 4 进行文件参数配置，日志查看、状态查看、服务启动、组件部署等。

赛题及解析

大数据平台搭建（容器环境）

环境说明

服务端登录地址详见各模块服务端说明。

补充说明：宿主机可通过Asbru工具或SSH客户端进行SSH访问；

相关软件安装包在宿主机的/opt目录下，请选择对应的安装包进行 安装，用不到的可忽略；

所有模块中应用命令必须采用绝对路径；

从本地仓库中拉取镜像，并启动3个容器

进入Master节点的方式为

docker exec –it master /bin/bash

进入Slave1节点的方式为

docker exec –it slave1 /bin/bash 

进入Slave2节点的方式为

docker exec –it slave2 /bin/bash

同时将/opt目录下的所有安装包移动到3个容器节点中。

前期准备

在ubantu中安装docker ce

1.安装一些必要的系统工具

sudo apt-get update

sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common

安装gpg证书并写入阿里源 docker ce镜像信息

curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -

sudo add-apt-repository "deb [arch=amd64] https://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"

 更新安装docker ce

sudo apt-get -y update

sudo apt-get -y install docker-ce

 查看docker ce 版本

docker version

 启动docker服务

sudo service docker start

docker默认是只有root才能执行Docker命令，因此我们还需要添加用户权限：
创建docker用户组：

sudo groupadd docker

添加当前用户到Docker用户组：

sudo gpasswd -a $USER docker

更新用户组：

newgrp docker