使用docker搭建spark(2.3.1)集群

最新推荐文章于 2024-12-20 15:13:06 发布
原创 最新推荐文章于 2024-12-20 15:13:06 发布 · 6.4k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #docker

本文介绍了如何使用Docker搭建Spark 2.3.1集群，详细步骤包括下载项目、启动容器，以及集群的使用和作业提交。在成功配置后，可以通过浏览器界面验证集群配置，并在集群中查看Spark、Hadoop和Python版本。同时，文章展示了如何将本地文件挂载到容器中，提交作业到Spark进行运行。

使用Docker快速搭建Spark集群。

创建Spark集群

  • 首先在命令行下载该项目：

    • git clone https://github.com/gettyimages/docker-spark.git

  • 在该目录下，输入compose up:

    • image-20181103161607705

  • 等待安装，最后会提示Worker和master都准备好了：

    • image-20181103164306737

  • 在浏览器中输入localhost:8080，出现如下界面，说明配置成功：

    • image-20181103164209061

  • 我们可以使用docker ps -a命令查看当前运行的容器：

最低0.47元/天 解锁文章
Spark简介以及Spark-on-K8S部署
寂夜了无痕的博客
11-12 177
Spark简介以及Spark-on-K8S部署
Spark on Docker：容器化大数据开发环境搭建指南
最新发布
AI天才研究院
05-08 1406
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
在Docker中从头部署自己的Spark集群
weixin_30398227的博客
06-03 1217
由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行 碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过） 于是就准备在Docker上搭建Spark集群 由于是Docker新手，在操作过程中遇到了不少麻烦 刚开始在网上找的资料都是直接从DockerHub...
spark_docker：用于本地部署和测试的Spark Docker容器
02-14
此仓库基于并针对我自己的自定义进行了修改。 此存储库最初是为了使用docker.io容器使用Hadoop，Hive和Spark创建一个具有1个主节点和2个工作节点的3节点hadoop集群。 您可以在此处阅读有关原始项目的更多信息： : 更新：感谢pedro-glongaron，该项目现在有1个主节点，2个工人，1个边缘节点（带有Flume，Sqoop和Kafka !!），1个Hue服务节点，1个Zeppelin服务节点和1个Nifi节点。 注意：请确认Dockerfile中的下载链接仍处于活动状态。 对于Hadoop：从此处选择任意Hadoop版本> 2.0。 对于Hive：从此处选择Hive版本> 2.0.0（最好是<3> 2.0。 更新：通过安装python 2.7添加了pyspark支持...在spark Docke
使用Docker搭建Spark集群
pjyex的博客
03-02 878
本次使用big-data-europe/docker-spark: Apache Spark docker image方便地进行Spark开发环境的搭建。 首先需要先准备一个docker-compose.yml文件，文件内容如下： version: '2' services: spark-master: image: bde2020/spark-master:2.4.4-hadoop2...
Docker安装Spark集群(干净不含hadoop等)
一尘在心的博客
01-11 1365
  https://github.com/mvillarrealb/docker-spark-cluster 1：安装前准备 Docker 安装好 Docker compose 安装好 2：构建镜像  将 docker-spark-cluster 下载下来放在/opt 目录下 进入docker-spark-clouder目录下 执行 chmod +x build-i...
docker下，极速搭建spark集群(含hdfs集群)
程序员欣宸的博客
02-10 1万+
搭建spark和hdfs的集群环境会消耗一些时间和精力，今天咱们就借助docker，极速搭建和体验spark和hdfs的集群环境；
CentOS7.5搭建spark2.3.1集群
Frank409167848的博客
07-09 2107
一 下载安装包 1 官方下载 官方下载地址：http://spark.apache.org/downloads.html 2  安装前提 Java8         安装成功 zookeeper  安装参考：CentOS7.5搭建Zookeeper3.4.12集群 hadoop       安装参考：CentOS7.5搭建Hadoop2.7.6集群 Scala          ...
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2401_89172892的博客
12-20 639
ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 # zookeeper节点列表。#或者直接拷贝过去scp -r /usr/local/hadoop-2.8.5/tmp masterstandby:/usr/local/hadoop-2.8.5。external_links: # 连接本compose文件以外的container。#拉取Kafka镜像和kafka-manager镜像。
Docker搭建Hadoop-3.2.1集群
liangsw
11-06 1016
参考链接：https://blog.csdn.net/xu470438000/article/details/50512442 https://blog.csdn.net/k393393/article/details/91410409 # 查看Linux配置 [root@localhost /]# df -h 文件系统 容量 已用 可用 已用% 挂载点 devtmpfs 16G 0 16G 0% /dev tm...
在Docker下搭建Spark+HDFS集群
Hipparchus的博客
05-23 9240
在Docker下搭建Spark+HDFS集群
大数据处理实验（四）使用docker构建spark运行环境
qq_46147238的博客
04-29 3723
使用docker构建spark运行环境安装docker与docker-compose系统构架图：docker compose部署文件：使用yml部署文件部署spark环境 安装docker与docker-compose 查询docker版本号。 在host上执行。 sudo docker -v 根据查询到的版本号，在下列网站找到对应的docker-compose版本。 https://github.com/docker/compose/releases 这里，我们使用最新的1.25.5版本。 执行下列命令
大数据探索：在树莓派上通过 Apache Spark on YARN 搭建 Hadoop 集群
weixin_33965305的博客
05-19 566
有些时候我们想从 DQYDJ 网站的数据中分析点有用的东西出来，在过去，我们要用 R 语言提取固定宽度的数据，然后通过数学建模来分析美国的最低收入补贴，当然也包括其他优秀的方法。 今天我将向你展示对大数据的一点探索，不过有点变化，使用的是全世界最流行的微型电脑————树莓派，如果手头没有，那就看下一篇吧（可能是已经处理好的数据），对于其他用户，请继续阅读...
最简单的-spark3-集群搭建
qq_24137609的博客
06-08 1477
机器： 10.211.55.67 master 10.211.55.68 slave1 10.211.55.69 slave2 首先三台机器安装scala wget https://downloads.lightbend.com/scala/2.13.2/scala-2.13.2.tgz 下载之后配置环境变量 #scala export SCALA_HOME=/home/scala-2.13.2 export PATH=$PATH:$SCALA_HOME/bin 测试 scala -version 配置
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 9655
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
docker6_搭建spark集群
qq_45972323的博客
05-26 990
docker
Docker安装Spark
风物长宜放眼量
08-13 1717
Docker安装Apache Spark
使用docker构建spark运行环境
Dragon_qing的博客
05-03 4447
使用docker构建spark运行环境安装docker与docker-compose系统构架图：docker compose部署文件：使用yml部署文件部署spark环境测试：创建RDD与filter处理 安装docker与docker-compose 可参考 https://blog.csdn.net/Dragon_qing/article/details/124416383 系统构架图： 使用docker hub查找我们需要的镜像。 docker compose部署文件： version: '3.
【云原生 | 30】Docker运行大数据处理框架Spark
热门推荐
小鹏linux的博客
09-23 3万+
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，基于Scala开发。最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一。 与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark支持更灵活的函数定义，可以将应用处理速度提升一到两个数量级，并且提供了众多方便的实用工具，包括SQL查询、流处理、机器学习和图处理等：
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值