使用docker安装Hadoop和Spark

最新推荐文章于 2024-07-25 17:32:49 发布

原创

最新推荐文章于 2024-07-25 17:32:49 发布 · 1.2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#docker #hadoop #spark

本文详细介绍了如何使用Docker分别安装Hadoop和Spark镜像。首先选择合适的Hadoop镜像，然后下载sequenceiq/spark源码并配置环境，包括从Spark官网获取2.3.2版本的安装包。接着，修改Dockerfile和bootstrap.sh文件，并构建自定义Spark镜像。最后，启动Spark2.3.1容器，或者选择预装Hadoop的镜像进行快速安装。参考链接提供了更多操作细节。

使用docker配置安装hadoop和spark

分别安装hadoop和spark镜像

安装hadoop镜像

选择的docker镜像地址，这个镜像提供的hadoop版本比较新，且安装的是jdk8，可以支持安装最新版本的spark。

docker pull uhopper/hadoop:2.8.1

安装spark镜像

如果对spark版本要求不是很高，可以直接拉取别人的镜像，若要求新版本，则需要对dockerfile进行配置。

环境准备

下载sequenceiq/spark镜像构建源码

git clone https://github.com/sequenceiq/docker-spark

从Spark官网下载Spark 2.3.2安装包
- 下载地址：http://spark.apache.org/downloads.html
将下载的文件需要放到docker-spark目录下
查看本地image，确保已经安装了hadoop
进入docker-spark目录，确认所有用于镜像构建的文件已经准备好

修改配置文件

修改Dockerfile为以下内容

FROM sequenceiq/hadoop-docker:2.7.0
MAINTAINER scottdyt

#support for Hadoop 2.7.0
#RUN curl -s http://d3k

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

zealscott

关注关注

0
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

基于docker搭建hadoop+spark+hive+hbase集群的过程

阿啄debugIT

01-07

3092

目录 1.安装docker 1.1.安装docker 1.2.更改为公司本地镜像源，或者阿里镜像源 1.3.设置为默认启动 1.4.重启docker,测试hello-world 1.5.安装docker-compose 1.6.关闭selinux 1.7下载各种安装包 2.安装centos+jdk镜像 3.安装hadoop...

Hadoop + Spark 完全分布式学习环境搭建（Docker版）

weixin_43116678的博客

08-20

1540

计算机中所有程序都要寄托一个环境运行，环境可以理解为一个程序运行所需要的条件的集合；如果只是为了写一个Java程序，它是单进程的，那么我们配置jdk、jre就可以了；如果写一个网站，有前后端、数据库服务、缓存服务等等，它们都要跑在不同的端口乃至不同的服务器上，配置环境让他们可以协同运作就会变得稍微复杂一些了；本篇文章将会介绍一个同样复杂的环境配置 —— Spark + Hadoop。由于 Spark和Hadoop通常都运行于分布式环境，有主从节点，因此一般在Linux服务器集群进行分布式生产环境部署，但.

参与评论您还未登录，请先登录后发表或查看评论

Docker下安装Hadoop和Spark集群-附件资源

03-02

Docker下安装Hadoop和Spark集群-附件资源

docker部署Hadoop、HBase环境（Centos7系统）

u010588886的专栏

10-26

2736

一、安装docker 1.下载离线包 Index of linux/static/stable/x86_64/ 2.

用docker搭建Hadoop/Spark/HDFS大数据环境

iwtbs

11-06

930

大数据很有前景，但是搭建环境很麻烦，这里介绍如何用docker来搭建大数据环境。下载代码 git@github.com:iwtbs/docker-hadoop-spark-workbench.git 启动容器 docker-compose up -d 查看部署结果 Namenode: http://localhost:50070 Datanode: http://localhost:50...

docker 安装hadoop2.8.5和spark2.4.0

SunChao3555的博客

02-19

1059

win7 + docker+ubuntu+java-1.8+hadoop-2.8.5+spark-2.4.0 win7系统下，docker的安装，本人是利用Docker Toolbox进行安装参考博客：https://blog.youkuaiyun.com/xiangxiezhuren/article/details/79698913 下载地址https://docs.docker.com/toolb...

基于docker的Hadoop-spark集群安装（centos 7系统）

Destiny_where的博客

01-14

747

上传文件到hdfs和使用spark访问hdfs，可参考大佬的博客：https://zhuanlan.zhihu.com/p/421375012#:~:text=resourcemanager%0AStarting%20nodemanagers-,%E5%90%91%20HDFS%20%E5%86%99%E5%85%A5%E6%96%87%E4%BB%B6,-%E4%BD%BF%E7%94%A8%E5%91%BD%E4%BB%A4%E5%B0%86。

精选资源

mac上基于docker搭建hadoop集群

01-20

对各个节点指定好功能 maseter为主节点，hadoop01 为从节点和datanode hadoop02 为yarn主节点负责各个节点的资源调度, hadoop02，hadoop03为datanode节点 OS hostname IP Centos8 hadoop-master ...

精选资源

docker 搭建hadoop以及hbase集群详解

01-09

要用docker搭建集群，首先需要构造集群所需...使用ubuntu14系统来安装hadoop和hbase，由于hadoop集群机器之间通过ssh通信，所以需要在ubuntu14系统中安装ssh服务。编写Dockerfile如下: ###########################

使用Docker搭建Hadoop集群和Spark集群

anron的专栏

08-17

1518

# 行命令退出安全模式 docker exec -it namenode hadoop dfsadmin -safemode leave # create the input directory on HDFS hadoop fs -mkdir -p input # create directory and files insdie namenode mkdir input echo "Hello World" >input/f1.txt echo "Hello Docker" >input

Docker搭建hadoop和spark集群

escapeape的博客

04-01

2303

在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择conda来管理python虚拟环境。选择conda来管理python虚拟环境。拉取的镜像没有配置spark,手动配置。拉取的镜像没有配置spark,手动配置。4. 使用conda创建虚拟环境。

docker 环境安装hadoop ，spark

qq_25640757的博客

12-04

512

1: docker环境下安装 hadoop 和 hdfs 本次安装镜像是基于sequenceiq/hadoop-docker ，目前最新版本是hadoop:2.7.0 （1）：进入docker ，执行docker pull sequenceiq/hadoop-docker 命令开始下载，下载完成如下：（2）：执行下面命令启动 docker...

使用docker构建hadoop+spark全分布式集群环境

weixin_44749387的博客

04-09

2648

使用docker构建hadoop+spark全分布式集群环境之所以用docker来构建集群环境而不采用虚拟机有如下方面的原因 1 在一台8G内存的笔记本上也可以运行全分布式集群环境，采用虚拟机（如vmware）的话根本是不可能的。 2 构建好镜像后，可以在任何平台上运行。方便移植和学习 3 按照微服务的设计原则，应该是最小化服务的方式，但是东西学的太死就没有必要了集群的架构规划如下：集群的...

使用Docker快速搭建Hadoop，Spark测试环境

u010236164的专栏

08-27

2552

Docker 安装参考：http://www.runoob.com/docker/docker-tutorial.html 合适的hadoop，Spark镜像：git clone https://github.com/big-data-europe/docker-hadoop-spark-workbench.git 进入下载后的目录 docker-hadoop-spark-work...

docker搭建hadoop+hbase