Spark job预估还有多久运行完

最新推荐文章于 2025-06-13 10:56:08 发布
最新推荐文章于 2025-06-13 10:56:08 发布
阅读量291 收藏
点赞数
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45099311/article/details/130294001
版权

有时Spark job启动之后想看看还有多久才能运行完成，可以通过上下不stage的write和read数量来粗略的判断。
例如stage 9
Details for Stage 9 (Attempt 0)
Total Time Across All Tasks: 34 min
Locality Level Summary: Node local: 16; Rack local: 184
Shuffle Read: 354.1 MB / 499543
Shuffle Write: 30.1 MB / 14219

下一个stage 10
Details for Stage 10 (Attempt 0)
Total Time Across All Tasks: 0 ms
Locality Level Summary: Process local: 5
Shuffle Read: 27.6 MB / 12770

也就是还剩下 14219 - 12770 = 1449条数据没有处理
在这里插入图片描述

Spark需要的资源调优（Yarn Cluster模式）
SunnyRivers
04-01 636
Spark应用程序是粗粒度的，也就是说在提交的时候就得规划好需要多少资源，设定了不合适的资源也会影响整体性能。yarn.nodemanager.resource.memory-mb 每个nodemanager分配的内存，也就是该节点上YARN可使用的物理内存总量。官方。
Spark | 性能调优原理与步骤 | 案例讲解
weixin_43646592的博客
07-04 590
Spark | 性能调优原理与步骤 | 案例讲解
spark入门之三 spark job提交
追赶者的博客
01-28 1558
spark job提交过程
spark项目时间评估预测
xiaochengzi0419的博客
06-22 238
1、 整体的时间编排，一些路标 整体的时间肯定是大于(spark(视频学习时长 * 2) + （社区文档*2） + 总结类文档 + 工程搭建 + 竞品调研 + 方案设计 + 一些bug解决)，通过该公式的计算，消耗的时候其实是非常长的 漏了任何一个步骤，后续可能会有考虑不全的问题，会导致自己出现很多问题 2.spark工程的问题，没有搜到合适的资料，问题导致出现的问题很难解决 3.spark调研需要进行的非常全面，弄完之后需要在短时间内成为一个专家，里面的API等需要完全熟练掌握，其实并不轻松 ..
时间估计---预测一个算法处理一定规模数据所需的时间
九术沫的博客
06-24 2083
倍率实验 倍率实验的数据表现形式 实验规模 实验耗时 倍率（本次实验与上一次实验运行时间之比） N t T 实验规模按N的倍数增长 实验的数据来源于模拟随机生成 实验的目的 用于估计一个算法在处理一个很大的数量级的数据时的理论耗时。 理论依据 如果T(N)~a(N^b)lgN那么 T(2N)/T(N)→ 2b T(2N)/T(N) \rightarrow\ 2^b T(2N)/T(N)→ 2b 2^b也就是倍率 实验的准备 一个模拟数据生成器 接
spark sql + 算法批量预测
qq_19072921的博客
11-15 1050
spark sql获取指定区间的数据集
基于spark的ctr预估离线流程
yuhangzhai的博客
10-20 2320
进入正题，做了快两年的推荐系统，从一无所知到略知一二，一路走来经历了很多，学到了很多东西。这篇文章主要梳理一下如何用spark来做ctr预估。  主要包括4部分  填写图片摘要（选填） 1 配置文件 2 特征提
Spark--一文了解WebUI_spark web ui(1)，字节跳动历年校招大数据开发面试真题解析
2401_84166376的博客
04-17 993
日常工作中经常用到sparkui来排查一些问题，有些东西需要经常搜索，网上的文章有写的很棒的，也有写的一言难尽的，这里参考了其他大佬的文章，自己整体梳理了一下，方便自己使用，也希望能帮助到大家～
Spark学习——使用Spark做CTR预估
cc的博客
10-19 660
赛题信息背景 任务描述：基于用户对广告任务的历史行为和广告任务属性，选择合适的算法预测用户在特定上下文下对某个广告任务的点击概率。 尝试解决的问题：提高广告点击转化率预估的准确性 难点：广告任务相对可推用户数量非常少；有行为的广告任务较少，数据非常稀疏；广告任务在投放周期的不同阶段转化率差异较大；存在误点击噪音数据；有效特征识别困难 数据集 - 训练集很大，采用分割方式进行数据集查看 训练集 [‘label’, ‘uId’, ‘adId’, ‘operTime’, ‘siteId’, ‘slotId’,
记一次spark streaming + spark sql应用的长时间运行异常关闭问题的排查过程
写给自己的博客
05-29 1319
背景 最近公司的推荐系统准备上线一个实时预测的功能，通过实时训练模型后实时预测用户的实时兴趣，进而推荐相关作品。项目用到了spark streaming、spark sql和spark mllib。功能开发完成后，预生产环境测试性能很不理想，于是我便接到这个需求优化改造任务。 优化的过程无非是从以下几方面入手： 首先是从代码逻辑上进行优化，减少迭代计算，合并单次操作为批量操作，优化业务逻辑等，这...
Spark Job调度优化：减少任务启动延迟的十种策略
随着大数据处理需求的增加，Apache Spark作为一个强大的分布式数据处理框架，其Job调度效率对于整体性能至关重要。本文针对Spark任务调度问题，首先介绍了Spark的基本任务调度理论，然后通过实践探讨了资源预分配...
Spark内容分享(二十七)：阿里云基于 Spark 的云原生数据湖分析实践
之乎者也·的博客
01-03 1310
① 部署运维难度大目前我们大家所熟悉的Spark集群都是在传统的 Hadoop 集群内部，比如CDH，或者早期的云上的EMR集群，这种全家桶式的部署方式的好处在于组件比较丰富，但是部署组件繁多，无论是安装、部署、运维都比较复杂，带来比较大的运维和人力成本。② 弹性能力不足这种部署模式需要比较固定的资源预估，比如跑作业需要多少 master，多少worker，都要提前准备好，还要事先完成环境的安装和组件的部署。这样，弹性扩容的效率就比较差。③ 存储与计算耦合传统 Spark 集群既要部署HDFS 的 data
Spark实时进度查询
Alian_W的博客
02-27 2341
Spark实时进度查询 大家好，我是一拳就能打爆帕特农神庙柱子的猛男 相信大家都有需求要查询Spark程序执行的进度，所以今天给大家带来Spark实时进度查询的方式整理。我在Spark官网找到了关于Spark监控的相关介绍，Spark指标监控有几种方法：web UI，REST API 1、 web UI 当SparkContext执行的时候，在浏览器中访问服务器IP:4040就可以进入UI界面： 其中可以访问到的内容有： 一系列的task和scheduler stage RDD的size和memory
Spark-1.6.0之Application运行信息记录器JobProgressListener
weixin_30500289的博客
07-05 218
　　JobProgressListener类是Spark的ListenerBus中一个很重要的监听器，可以用于记录Spark任务的Job和Stage等信息，比如在Spark UI页面上Job和Stage运行状况以及运行进度的显示等数据，就是从JobProgressListener中获得的。另外，SparkStatusTracker也会从JobProgressListener中获...
Spark作业信息的获取
ASIN的专栏
06-09 8660
提前说明 本文仅讨论运行在Yarn模式下作业信息的获取，至于获取其它模式下的作业信息，请见参考博文1。 官方文档见Spark1.6.1–Monitoring and Instrumentation。 作业信息的查看正在运行作业一般作业运行后，可打开http://<driver-node>:4040查看正在运行作业的情形，如下所示， 历史作业查看打开spark-defaults.conf文件，增加如
Spark运行状态的监控
热门推荐
sinat_34763749的博客
07-06 2万+
强力推荐，相见恨晚的文档，建议先看 关于Spark监控，推荐一个讲的非常好的PPT：monitoring-spark-applications，简练、全面的讲解了Spark监控的必要性、方法、缺点及改进方法。 下面是我自己的一些总结 本文内容主要来自Spark Monitoring官方文档和Cloudera文档，和一些自己的思考。 Spark UI监控，有三个维度 对Spark运行时...
高频面试之10 Spark Core & SQL
最新发布
数字人生
06-13 500
【摘要】本文系统梳理了Spark核心概念与关键技术要点，主要包括：1）Spark运行模式（Local/Yarn/Standalone等）及常用端口说明；2）RDD五大特性和弹性机制；3）转换/行动算子分类与典型API对比（如map/mapPartitions、reduceByKey/groupByKey）；4）任务执行流程（DAG划分、Shuffle机制和内存管理）；5）性能优化策略（如repartition/coalesce选择、减少数据库连接数）；6）与MapReduce的核心差异（内存计算、DAG优化
【术语解释】网络安全（(SAST, DAST, SCA, IAST），Hadoop, Spark, Hive 的关系
2301_79306982的博客
06-13 733
OAuth 2.0 的安全依赖于正确的配置。例如，授权服务器的端点（如授权端点、令牌端点）配置不当（如允许不安全的 HTTP、支持弱加密算法、重定向 URI 校验不严格允许开放重定向），或者客户端密钥 (client secret) 管理不善（如硬编码在客户端代码中、通过不安全的渠道传输）都属于安全配置错误。如果范围检查不严格，或者令牌（特别是访问令牌和刷新令牌）的存储、传输或验证过程存在漏洞（例如，令牌泄露、令牌未绑定到客户端、刷新令牌策略过于宽松），就可能导致攻击者越权访问受保护的资源。
maperduce互联网精准广告推荐
04-05
借助 Hadoop 平台上运行的 MapReduce 流程，可以从日志文件里抽取样本用于监督学习任务，进而不断改进CTR预估精度[^2]。 4. **A/B Testing 数据准备** A/B testing 常用来验证不同版本间的效果差异。假设某个社交...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值