Docker构建学习环境(3)-部署Spark并提交WordCount任务

最新推荐文章于 2025-05-27 20:35:36 发布
原创 最新推荐文章于 2025-05-27 20:35:36 发布 · 1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark

Spark概述

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了存储器内运算技术，能在数据尚未写入硬盘时即在存储器内分析运算。Spark在存储器内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍，即便是运行程序于硬盘时，Spark也能快上10倍速度。[1]Spark允许用户将数据加载至集群存储器，并多次对其进行查询，非常适合用于机器学习算法。摘自维基百科。总结一下就是，hadoop的mapreduce是将中间结果存在磁盘上，而spark是将中间结果存在主存中，所以速度比Hadoop的mapreduce快。

准备工作
环境选择
  • 宿主机系统：win10
  • hadoop版本：3.1.1(构建基于HDFS的spark)
  • Spark版本：2.4.5
  • 容器系统：ubuntu16
  • jdk：1.8
准备
  • 下载jdk1.8下载地址放入E:/docker/spark目录下
  • 下载Hadoop下载地址放入E:/docker/spark目录下，这一步不是必须的，只是因为我部署hdfs的时候选择了版本3.1.1不想重新部署，所以下载Spark时选择了Pre-build with user-provided Apache Haddop，啥意思呢？就是自定义版本的Hadoop，如果选择的Spark版本是Pre-build for Apache Haddop 2.6/2.7，那就不需要单独下载Hadoop，因为下载的Spark已经预编译了。
  • 下载spark下载地址放入E:/docker/spark目录下，选择好自己的版本，如果已经安装了Hadoop2.6/2.7建议直接下载预编译了Hadoop的版本，不需要后续配置环境参数。</
最低0.47元/天 解锁文章
docker-spark, 通用 Apache Spark 客户端的Docker 映像.zip
09-18
docker-spark, 通用 Apache Spark 客户端的Docker 映像 客户端 Docker 映像 这个存储库包含一个运行的 Docker 映像。要运行简单的spark shell 插件，请执行以下操作：docker run -it epahomov/docker-spark:lightwe
spark_docker：用于本地部署和测试的Spark Docker容器
02-14
此仓库基于并针对我自己的自定义进行了修改。 此存储库最初是为了使用docker.io容器使用Hadoop，Hive和Spark创建一个具有1个主节点和2个工作节点的3节点hadoop集群。 您可以在此处阅读有关原始项目的更多信息： : 更新：感谢pedro-glongaron，该项目现在有1个主节点，2个工人，1个边缘节点（带有Flume，Sqoop和Kafka !!），1个Hue服务节点，1个Zeppelin服务节点和1个Nifi节点。 注意：请确认Dockerfile中的下载链接仍处于活动状态。 对于Hadoop：从此处选择任意Hadoop版本> 2.0。 对于Hive：从此处选择Hive版本> 2.0.0（最好是<3> 2.0。 更新：通过安装python 2.7添加了pyspark支持...在spark Docke
在Docker中从头部署自己的Spark集群
weixin_30398227的博客
06-03 1197
由于自己的电脑配置普普通通，在VM虚拟机中搭建的集群规模也就是6个节点左右，再多就会卡的不行 碰巧接触了Docker这种轻量级的容器虚拟化技术，理论上在普通PC机上搭建的集群规模可以达到很高（具体能有多少个也没有实际测试过） 于是就准备在Docker上搭建Spark集群 由于是Docker新手，在操作过程中遇到了不少麻烦 刚开始在网上找的资料都是直接从DockerHub...
在Docker中搭建Spark集群
不染心的博客
02-04 1907
参考：https://blog.youkuaiyun.com/hellojoy/article/details/92766134 集群的搭建参考的是这篇博客，但是在搭建中还是遇到了诸多问题，为了避免大家走弯路，我将自己搭建的路上遇到的问题以及如何搭建，在这里做一个记录。 因为我的导师所使用的就是这个Docker微服务技术，所以开始学习Docker，随着深入的学习，发现Docker的诸多方便快捷的地方，使用...
spark任务提交方式 && 任务运行情况
阿尼古
03-08 254
spark运行模式有如下几种运行模式； 以上就是相关内容，偷过来记录下，晚点好复习，哈哈... 总结一点经验吧，说实话搞了两三年大数据开发了，刚开始感觉好难，后来慢慢的回味，感觉还好呀！ 所以不要放弃自己，努力，加油，有朝一日，回过头来，你会发现，这些都是 So easy... ...
马踏飞燕——奔跑在Docker上的Spark
weixin_30600197的博客
04-17 207
目录 为什么要在Docker上搭建Spark集群 网络拓扑 Docker安装及配置 ssh安装及配置 基础环境安装 Zookeeper安装及配置 Hadoop安装及配置 Spark安装及配置 集群部署 总结 参考资料 1 为什么要在Docker上搭建Spark集群 他：为什么要在Docker上搭建Spark集群啊？ 我：因为……我行啊！ 　　MR和Spark...
Docker 化部署 Apache Spark
AI天才研究院
08-06 1256
15年7月，Apache基金会宣布开源了Spark项目，这标志着基于内存计算的大数据处理技术进入了一个全新的阶段。由于Spark的分布式架构特性，使其具有极高的可扩展性和容错性。因此，越来越多的公司、组织和个人开始使用Spark作为分析平台进行大数据的分析处理。同时，Spark也已经成为开源领域里非常流行的一个项目。在生产环境中，部署Spark的方式通常采用集群部署模式，即将集群中的各个节点配置成一个整体，形成统一的计算资源池。这种方式的优点是简单、灵活，能够适应各种业务场景；
Spark on Docker：容器化大数据开发环境搭建指南
AI天才研究院
05-08 1339
随着大数据处理需求的爆发式增长，Apache Spark已成为分布式计算领域的事实标准。环境配置复杂性：Spark依赖Java、Scala运行时及Hadoop生态组件，版本兼容性问题频发环境一致性难题：开发、测试、生产环境的配置差异导致"在我机器上能跑"的经典问题资源隔离不足：多用户共享集群时易出现资源抢占和性能抖动分钟级环境初始化，无需手动配置依赖开发/测试环境完全镜像化，一键迁移资源细粒度隔离，支持多版本共存Docker基础架构与核心概念。
Docker构建学习环境(4)-Azkaban Solo模式调度Spark
houwanfeimark的专栏
05-11 961
背景 前段时间利用Docker部署了hadoop集群和spark，也简单的提交了任务。但是肯定有一个疑问，如果我们要执行定时任务怎么办呢？或者我们执行复杂的具有顺序的多任务怎么办？在大数据中，这种场景非常常见，一个大数据任务通常由大量的任务组成，并且可能是shell脚本、mapreduce任务、spark任务等，并且任务之间存在依赖关系。手动执行这种原始办法虽然可以，但是人总有出错的时候。今天要带来的一款具有复杂任务调度能力的框架-Azkaban，也支持定时调度。 Azkaban介绍 Azkaban是由Li
Win11 Docker 快速部署spark（快速部署pySpark 、使用Docker compose部署spark）
weixin_52785140的博客
10-06 3357
构建镜像完成后，还需要修改 docker-compose.yml 文件，使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群，同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD，在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信，首先需要启动 ssh 服务，然后依次启动 HDFS 和 YARN 集群。：挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share；
提交第一个spark作业到集群运行
weixin_34204057的博客
10-31 256
写在前面 接触spark有一段时间了，但是一直都没有真正意义上的在集群上面跑自己编写的代码。今天在本地使用scala编写一个简单的WordCount程序。然后，打包提交到集群上面跑一下... 在本地使用idea开发，由于这个程序比较简单，我这里就直接给出代码。 import org.apache.spark.{SparkConf, SparkContext} object WordCount...
spark 简单实战_spark简单wordcount实例
weixin_39929723的博客
12-22 185
dockerdocker pull sequenceiq/spark:1.6.0docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/spark:1.6.0 bashmavenorg.springframework.bootspring-boot-starter-actuatororg.springf...
Spark runs on Docker
心中永远的正能量
09-20 8618
最近看了不少Docker相关的文档，也做了不少相关的实验。
Docker搭建Spark
Ch3nnn的博客
11-13 515
.docker编排工具docker-compose安装 使用官网指导方式安装（不推荐）https://docs.docker.com/compose/install/ 使用国内镜像源安装(推荐) curl -L https://get.daocloud.io/docker/compose/releases/download/1.22.0/docker-compose-...
docker搭建Spark
热门推荐
走到无路可退
06-16 1万+
1.docker的安装请看我的这篇文章:https://blog.youkuaiyun.com/qq_33517844/article/details/88146082 2.docker编排工具docker-compose安装 2.1 使用官网指导方式安装（不推荐）https://docs.docker.com/compose/install/ 2.2使用国内镜像源安装(推荐) curl -L ht...
Docker部署Spark大数据组件
最新发布
刘元林的博客
05-27 1349
Apache Spark 是一个快速通用的大数据处理引擎，支持内存计算优化迭代任务（如机器学习）。其核心组件包括Spark Core（基础功能）、Spark SQL（结构化数据）、Spark Streaming（实时处理）、MLlib（机器学习）和GraphX（图计算）。部署时可选择官方或第三方（如bitnami/spark）镜像，官方镜像限于交互式访问，而bitnami支持集群部署。通过docker-compose配置包含1个master和2个worker的集群时，需注意权限设置和ivy路径问题（需在sp
用docker搭建spark集群
wowdd1
12-12 1万+
最近在学习spark, 有了docker搭建集群太方便了 安装好docker之后,在vbox里面做一个共享目录, 方便虚拟机从host拷贝文件 运行docker, 接着运行boot2docker ssh 这样就进到虚拟机里面了, 因为需要用到github上的脚本, 可以拷贝你的ssh文件到虚拟机里面 cp /Users/zd/.ssh/id_* ~/.
使用Docker部署Spark集群
心梦园
08-25 1183
使用Docker部署Spark集群 克隆包含启动脚本的git仓库 启动Spark0.8.0集群并切换至Spark Shell环境 不带参数运行部署脚本 *运行一些小的例子 终止集群 克隆包含启动脚本的git仓库*git clone -b blogpost git@github.com:amplab/docker-scripts.git当然，在这之前你必须已经配置了Github的SSH密钥认证，如果没
docker 搭建spark集群
weixin_30530939的博客
08-26 318
借鉴：https://blog.youkuaiyun.com/u013705066/article/details/80030732下面这个例子让我感受到docker的便捷和强大。两行命令搭建spark集群：1.准备一个docker-compose.yml配置文件，描述集群结构及必要参数 version: "2" services: master: image: singul...
docker运行spark
02-12
### 如何在Docker中运行Spark #### 创建和配置Docker环境以支持Spark 为了使Docker能够成功运行Spark，需要先创建适合的Docker镜像。这通常涉及到编写一个`Dockerfile`来定制化安装必要的软件包和服务。 ```dockerfile FROM ubuntu:latest RUN apt-get update && \ apt-get install -y openjdk-8-jdk && \ apt-get clean ENV JAVA_HOME /usr/lib/jvm/java-8-openjdk-amd64/ WORKDIR /opt/spark-app COPY . . CMD ["bash"] ``` 上述脚本展示了基础版的Ubuntu镜像上安装OpenJDK的过程，并设置了工作目录以及默认命令[^2]。 #### 启动带有Hadoop和Spark的大数据集群 对于更复杂的场景，比如想要集成Hadoop与Spark形成大数据处理平台，则可以参考特定指南完成复杂环境下的部署操作。例如，在腾讯云服务器环境下快速建立包含HDFS在内的Spark集群实例[^4]。 #### 使用预构建的Docker镜像启动Spark应用 如果不想自己制作镜像，也可以直接拉取官方提供的已打包好所有依赖项的Spark Docker镜像： ```shell docker pull bitnami/spark:latest ``` 接着可以通过如下方式启动容器并连接到交互式的Bash shell内执行后续指令: ```shell docker run --name my-spark-container -it --rm bitnami/spark:latest bash ``` 此时便可以在新打开的终端窗口里开始探索如何提交作业给Spark集群了[^1]。 #### 提交第一个简单的Spark应用程序 假设已经处于正确的环境中（即之前提到过的通过`exec`进入正在运行中的容器），那么现在就可以尝试着写一段Python代码作为入门级的例子来看一看效果如何： ```python from pyspark import SparkContext, SparkConf conf = SparkConf().setAppName(&#39;wordcount&#39;) sc = SparkContext(conf=conf) text_file = sc.textFile("README.md") counts = text_file.flatMap(lambda line: line.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) for count in counts.collect(): print(count) ``` 这段程序会读取当前路径下的`README.md`文档内容并对其中单词的数量进行统计输出[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值