Spark 学习笔记之 Standalone与Yarn启动和运行时间测试

最新推荐文章于 2022-06-17 09:57:14 发布
转载 最新推荐文章于 2022-06-17 09:57:14 发布 · 120 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：http://www.cnblogs.com/AK47Sonic/p/7782699.html
文章标签：

#大数据

本文通过一个简单的WordCount程序，比较了Hadoop在Standalone模式与Yarn模式下的启动时间。测试结果显示，Standalone模式比Yarn模式启动速度快10-15秒。

Standalone与Yarn启动和运行时间测试：

 

  • 写一个简单的wordcount：

打包上传运行：

  • Standalone启动：

运行时间：

  •  Yarn启动：

 

 

 运行时间：

 

  • 测试结果：

Standalone要比Yarn启动快10-15s

 

转载于:https://www.cnblogs.com/AK47Sonic/p/7782699.html

大数据-玩转数据-Yarn 与StandAlone调度对比
s_unbo的博客
12-23 865
大数据-玩转数据-Yarn 与StandAlone调度对比 MapReduce中的maptask和reducetask都是在YarnChild中进行计算的,YarnChild是一个进程,使用jps命令可以看到 它们的区别： 1. yarn Spark ResourceManager master 作用:管理子节点,资源调度,接收任务请求 2. yarn spark nodemanager worker 管理当前节点,并管理子进程 对于nodemanager来说,子进程
Spark基础学习笔记05：搭建Spark Standalone集群
lwmzl00的博客
06-17 1250
文章目录 零、本讲学习目标 搭建Spark Standalone模式的集群 能够启动Spark Standalone模式的集群 学会Spark应用程序的提交 Spark的两种集群运行模式：Spark Standalone模式和Spark On YARN模式。Standalone模式需要启动Spark集群，而Spark On YARN模式不需要启动Spark集群，只需要启动YARN集群即可。先来搭建Spark Standalone模式的集群。一、Spark Standalone架构 Spark Standal
《Spark与Hadoop大数据分析》——3.6　Spark 资源管理器：Standalone、YARN和Mesos
weixin_34290000的博客
09-01 1202
3.6　Spark 资源管理器：Standalone、YARN和Mesos 在本章其他部分（在 PySpark shell 和应用程序中），我们已经在 Spark 的 Standalone 资源管理器中执行过 Spark 应用程序。让我们尝试理解这些集群资源管理器相互之间有什么不同，以及它们该在什么情况下使用。 3.6.1　本地和集群模式 在继续讲解集群...
Spark源码阅读04-Spark运行架构之Standalone运行模式
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
12-23 798
本文介绍了Spark运行结构中Standalone运行模式的运行流程及代码实现原理，同时介绍了环境搭建及具体分析。欢迎大家交流讨论！
SparkOnYarn与StandAlone模式的区别
淡定一生2333的博客
08-31 4530
了解了Yarn上的程序如何启动之后(详情《Yarn初步了解》)，本文来分析一下Spark On Yarn程序的启动流程，具体来说是Client模式下Spark On Yarn程序是如何启动的。 Spark on Yarn是如何运行起来的： 从SparkContext的启动开始看进去。SparkContext初始化内部具体细节可以看下本人之前写的《SparkContext初始化流...
Spark基础学习笔记06：搭建Spark On YARN集群
lwmzl00的博客
06-17 1309
零、本讲学习目标 学会搭建Spark On YARN模式的集群 能够将Spark应用程序提交到集群运行 一、Spark On YARN架构 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己实现，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN很好地对每一个程序实现了资源的隔离。这使得Spark与MapReduce可以运行于同一个集群中，共享集群存储资源与计算资源。Spark On YARN模式与Standalone模
Spark学习—— (2) 从零开始搭建Spark（StandAlone与YARN模式）与Hadoop集群
机器学习，大数据
04-21 1024
记录自己使用VMware搭建Spark集群的过程，使用三台虚拟机。 若只需要Hadoop集群，则将5和7跳过即可； 若只需要Spark Standalone模式的集群，则将6和7跳过即可。 文章目录1. 环境2. 第一台虚拟机2.1 虚拟机创建2.2 Hadoop安装2.3 Spark安装3. 虚拟机复制3.1 修改用户名/组（看黑体）3.2 克隆虚拟机3.3 修改主机名称4. 配置ssh免密登陆...
Spark学习笔记—Spark工作机制
01-20
一.Spark执行机制 1.执行机制总览 Spark应用提交后经历一系列转变，最后成为task在各个节点上执行...Spark应用(application)是用户提交的应用程序，执行模式有Local，Standalone，YARN，Mesos。根据Application的Driver
spark提交任务的模式—— standalone模式与yarn模式、资源调度与任务调度
Devin
12-26 924
standalone模式 在客户端提交Application，Driver在客户端启动； 客户端向Master申请资源，Master返回Worker节点； Driver向Worker节点发送task，监控task执行，回收结果。 在客户端提交Application，客户端向Master申请启动Driver； Master随机在一台Worker中启动Driver； Driver启动...
Spark解决task任务运行时间过长
热门推荐
baifanwudi的专栏
04-18 1万+
今天补数据的时候，发现突然任务运行时间比以往过长。 查看运行状态，发现有一个task运行过长。 解决方法，开启spark.speculation，配置如下： spark.speculation true spark.speculation.interval 100：检测周期，单位毫秒； spark.speculation.quantile 0.75：完成task的百分比时启动推测； spark.s...
Spark中统计程序运行时间
weixin_30439067的博客
10-12 1626
import java.text.SimpleDateFormat import java.util.Date val s=NowDate() //显示当前的具体时间 val now=new Date() { 你的Spark程序........ } val now2: Dat...
Spark-Core之Spark运行模式StandAlone模式和Yarn模式详解
Fresh_man888的博客
12-05 1204
1. spark运行在standAlond模式: 1.1 standAlone的client模式:(driver运行在sparkSubmit进程中) 1.2 运行的流程: 1. 客户端向master提交任务 2. master根据客户端提交的任务,计算那些worker符合执行任务的条件,找到符合执行条件的worker然后和worker 进行RPC通信,通知worker启动executor,并且会将一些driver端的信息告诉给executor,executor启动之后会想driver端反向注册
Spark On Standalone框架 和 Spark On Yarn 框架
04-09 1070
Spark On Standalone框架 1 master和worker节点 在standalone模式下，一个集群有一个master节点和多个worker节点。 master负责管理worker，客户端会把应用提交到master节点运行。 worker节点与master节点通信，并且管理executor进程。 2 driver和executor进程 driver进程就是应用的main()函数并...
小改Spark sql，提升spark响应时间
qq_33160722的博客
01-23 1336
测试发现，即使只有1条记录，使用 spark进行一次SQL查询也会耗时1秒，对很多即席查询来说1秒的等待，对用户体验非常不友好，特别是延云YDB，用户对响应时间要求比较苛刻，1秒与毫秒有本质的区别，有些用户这种差异感觉根本不可接受。 针对这个问题，我们在spark与hive的细节代码上进行了局部调优，调优后，响应时间由原先的1秒缩减到现在的200~300毫秒。          以下是我们
SparkOnYarn-Container启动流程
淡定一生2333的博客
12-09 1157
Spark On Yarn程序的启动流程和之前的那篇《Yarn初步了解》文章中的“应用程序的”开发流程是一样的。先在某个NodeManager(NM)节点上启动Application Master(AM)，再由AM向ResourceManager(RM)申请资源创建Container，最后AM收到RM创建成功的消息后，由AM向RM发送请求启动这些Container，然后就可以在这些Cont...
Spark On YARN启动流程源码分析
METON的博客
04-04 1454
1、spark-submit入口介绍 一般的spark作业都是通过命令行spark-submit相关的指令来进行提交，使用--master yarn来指定提交到对应的yarn集群上，如下： ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ --driver-memory 4g \ --executor-memory
spark on yarn任务提交缓慢解决
weixin_30256505的博客
02-08 811
spark on yarn任务提交缓慢解决 spark版本：spark-2.0.0 hadoop 2.7.2。 在spark on yarn 模式执行任务提交，发现特别慢，要等待几分钟， 使用集群模式模式提交任务： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mo...
Scala与Spark深度学习笔记：从基础到SparkSQL
"该资源是关于Spark和Scala的综合学习笔记，涵盖了从基础到进阶的多个主题，包括Scala的开发环境配置、基本语法、集合操作、面向对象编程和函数式编程，以及Spark的环境搭建、算子使用、运行原理、运行模式和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值