alluxio docker环境部署

本文详细介绍了在Docker环境下安装和运行Alluxio的步骤。包括安装Docker、复制Alluxio仓库、构建Alluxio Docker镜像、创建底层存储文件夹、设置虚拟内存、运行Docker镜像(分master和worker环境)以及连接到容器等操作,还提供了详细命令和更多内容的访问链接。

1、安装docker
sudo yum install -y docker git
sudo service docker start
#–Add the current user to the docker group
sudo usermod -a -G docker $(id -u -n)
#–Log out and log back in again to pick up the group changes
exit

2、复制alluxio仓库
git clone https://github.com/Alluxio/alluxio.git

3、构建alluxio docker 镜像
3.1、
·cd alluxio/integration/docker
·docker build -t alluxio .
3.2、本地压缩包
·cd alluxio/integration/docker
·docker build -t alluxio --build-arg ALLUXIO_TARBALL=alluxio-1.8.1-hadoop-2.7-bin.tar.gz .

4、在主机创建底层存储文件夹
mkdir underStorage

5、设置虚拟内存允许快速短路读取

sudo mkdir /mnt/ramdisk_docker
sudo mount -t ramfs -o size=30G ramfs /mnt/ramdisk_docker
sudo chmod a+w /mnt/ramdisk_docker

6、运行docker镜像
6.1
export INSTANCE_PUBLIC_IP=192.168.51.170
6.2、运行master环境:
方法一(制作镜像包括entrypoint.sh):
docker run -dit --net=host --name master
-v $PWD/underStorage:/underStorage
-e ALLUXIO_MASTER_HOSTNAME=192.168.51.190
-e ALLUXIO_UNDERFS_ADDRESS=/underStorage
alluxio master /bin/bash
方法二(制作镜像不包括entrypoint.sh):
docker run -dit --net=host --name master
-v $PWD/underStorage:/underStorage
-e ALLUXIO_MASTER_HOSTNAME=192.168.51.190
-e ALLUXIO_UNDERFS_ADDRESS=/underStorage
alluxio /bin/bash

6.3、运行worker环境
方法一(制作镜像包括entrypoint.sh):
docker run -dit --net=host --name worker
-v /mnt/ramdisk_docker:/opt/ramdisk_docker
-v $PWD/underStorage:/underStorage
-e ALLUXIO_MASTER_HOSTNAME=192.168.51.170
-e ALLUXIO_RAM_FOLDER=/opt/ramdisk_docker
-e ALLUXIO_WORKER_MEMORY_SIZE=30GB
-e ALLUXIO_UNDERFS_ADDRESS=/underStorage
alluxio worker /bin/bash
方法二(制作镜像不包括entrypoint.sh):
docker run -dit --net=host --name worker
-v /mnt/ramdisk_docker:/opt/ramdisk_docker
-v $PWD/underStorage:/underStorage
-e ALLUXIO_MASTER_HOSTNAME=192.168.51.170
-e ALLUXIO_RAM_FOLDER=/opt/ramdisk_docker
-e ALLUXIO_WORKER_MEMORY_SIZE=30GB
-e ALLUXIO_UNDERFS_ADDRESS=/underStorage
alluxio /bin/bash

7、连接到容器

启动master:
docker exec -it worker bash
/entrypoint.sh master

启动worker:
docker exec -it worker bash
/entrypoint.sh worker

更多详细内容请访问:
https://docs.alluxio.io/os/user/stable/cn/Getting-Started.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值