基于docker的Hadoop-spark集群安装（centos 7系统）

原创

已于 2024-01-14 22:03:36 修改 · 751 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#运维 #docker #centos #容器 #大数据

于 2024-01-14 21:56:37 首次发布

本文详细介绍了如何在CentOS7系统中，利用Docker在VMware环境下搭建并配置Hadoop和Spark集群，包括下载镜像、创建docker-compose.yml文件、设置环境变量、共享目录以及启动和管理服务的过程。

基于docker的Hadoop-spark集群安装（centos 7系统）

参考博客：https://zhuanlan.zhihu.com/p/421375012

使用操作系统 Centos 7，在VMware下进行的安装

步骤：

拉取大佬弄好的hadoop+spark的docker镜像：docker pull s1mplecc/spark-hadoop:3
编写docker-compose.yml，共享目录/opt/share到物理机 ~/docker/spark/share，方便修改和传文件

version: '2'

services:
  spark:
    image: s1mplecc/spark-hadoop:3
    hostname: master
    environment:
      - SPARK_MODE=master
      - SPARK_RPC_AUTHENTICATION_ENABLED=no
      - SPARK_RPC_ENCRYPTION_ENABLED=no
      - SPARK_LOCAL_STORAGE_ENCRYPTION_ENABLED=no
      - SPARK_SSL_ENABLED=no
    volumes:
      - ~/docker/spark/share:/opt/share
    ports:
      - '8080:8080'
      - '4040:4040'
      - '8088:8088'
      - '8042:8042'
      - '9870:9870'
      - '19888:19888