spark 生产环境使用资源小结

最新推荐文章于 2025-04-12 17:17:16 发布
转载 最新推荐文章于 2025-04-12 17:17:16 发布 · 280 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://blog.youkuaiyun.com/lhxsir/article/details/88838515

本文分享了使用Spark SQL在集群环境下处理大规模数据的经验，详细分析了计算近二十年数据（约1700个Tasks）的资源分配策略，探讨了如何通过调整executor内存和repartition参数来提高计算效率及避免内存溢出。

使用集群运行spark-sql计算 初始化大宽表 近二十年所有数据！

在这里插入图片描述

1700个Tasks（计算10min + 写入30min）

在这里插入图片描述

计算两年数据量：130G
计算三年数据量：190G
平均每年数据量：60G+（2000万条）
提交资源申请：
每个executor申请内存为16G

--executor-memory 12g \
--conf spark.yarn.executor.memoryOverhead=4096m \


由于进行repartition(10)操作
所以该集群最大处理数据量为10*16G =160G（两年多数据）

否则报错：

ExecutorLostFailure (executor 37 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 16.1 GB of 16 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.

 

Spark生产优化总结
04-27
Spark生产优化总结 ，企业中Spark作业的调优等的总结，spark 任务详解、调度、资源分配
hadoop&spark安装、环境配置、使用教程、应用项目（如分布式机器学习）源代码
07-11
- 将训练好的模型部署到生产环境中，进行实时或批量的预测任务。 **注意：**实际开发过程中，应根据项目的具体需求和数据集的特点来调整和优化模型。 #### 四、总结 通过以上步骤，我们可以了解到Hadoop与Spark...
实际生产环境下Spark一些简单功能的实现
Hello_World0825的博客
07-02 408
Spark一些简单功能的实现 1、批量改变列名 val frame = spark.createDataFrame(Seq(("zhangsan", 18, "nan"),("lisi",20,"nv"))).toDF("name", "age", "sex") val str = "name:name1" if(str == ""){ frame.show() }else{ val map: Map[String, String] = str.split(",").map(data =>
生产环境实战spark （6）分布式集群 5台设备 Scala安装
大模型与Agent智能体
04-19 1542
生产环境实战spark （6）分布式集群 Scala安装1，scala官网下载scala安装到本地。这里使用spark 2.1.x版本，而spark 2.1 版本需要scala2.1.1版本以上的兼容版本，因此下载安装 scala-2.11.8下载地址：http://www.scala-lang.org/download/all.htmlSpark runs on Java 7+, Python
Spark企业级环境搭建
马超的博客
10-21 838
Chinahadoop-1节点安装Spark即可，在提交作业时由Yarn动态分发运行环境包括jar包、executor、driver等。不需要分布式部署Spark。 下载hadoop压缩包之后解压hadoop后，配置文件在…/etc/hadoop目录下。 下载Spark压缩包之后，解压进入Spark目录，找到conf进行配置。spark-env.sh（打通hadoop） spark-def
spark视频-第二期：Shark、SparkSQL
weixin_30443731的博客
10-04 232
第2期Spark亚太研究院决胜云计算大数据时代：100期Spark公益大讲堂之Shark、SparkSQL，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=277083257568965 王家林老师(邮箱：18610086859@126.comQQ:1740415547)...
详解 Spark 各种运行环境的搭建
weixin_44480009的博客
05-29 2085
Mesos 是 Apache 下的开源分布式资源管理框架Kubernetes（k8s）是目前最为流行的容器管理工具Windows 模式：将解压缩到无中文无空格的路径中执行解压缩文件路径下bin目录中的文件，启动 Spark 本地环境编写 Scala 程序执行或在 DOS 命令行窗口中执行提交指令。
大数据领域Spark的资源管理与调度策略
最新发布
大数据洞察的博客
04-12 733
本文旨在全面解析Spark框架中的资源管理与调度机制，帮助开发者深入理解Spark内部工作原理，掌握资源调优技巧。讨论范围包括Spark核心资源管理模型、任务调度算法、不同集群管理器实现，以及实际应用中的最佳实践。文章首先介绍Spark资源管理的基本概念，然后深入分析其核心算法和实现机制，接着通过实际案例展示应用方法，最后讨论未来发展趋势。Driver：Spark应用的主控进程，负责协调任务执行Executor：工作节点上的进程，执行具体任务Task：Spark作业的最小执行单元Stage。
Spark集群环境搭建（standalone模式）
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 5231
大数据实验教学系统Spark集群环境搭建（standalone模式）spark有以下几种运行模式，每种运行模式都有自己不同的优点和长处。安装和配置Spark环境（standalone模式）   掌握Spark集群的启动和关闭。1、在master主节点上安装和配置Spark环境   2、将配置好的Spark文件夹拷贝到三个worker节点上   3、掌握Spark集群的启动和关闭   4、测试Spark集群安装是否成功。硬件：x86_64 ubuntu 16.04服务器   软件：JDK1.8，Spark-2
基于HDP版本的YDB安装部署
qq_33160722的博客
02-19 1004
第三章 YDB依赖环境准备 一、硬件环境 硬件如何搭配，能做到比较高的性价比，不存在短板。合理的硬件搭配，对系统的稳定性也很关键。 1.CPU不是核数越高越好，性价比才是关键。        经常遇到很多的企业级客户，他们机器配置非常高，CPU有128 VCore，256G内存，但是只挂载了1块8T的SATA硬盘，千兆网卡。        这样的机器配置比较适合计算密集型的业
大数据之spark——1入门（概念、环境搭建与部署）
二毛的博客
07-05 1935
1 Spark概述 1.1 Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。（没有存储功能） 1.2 Spark and Hadoop Spark是用Scala语言开发的快速、通用、可扩展的大数据分析引擎。 Spark Core中提供 了Spark最基础和最核心的功能。 Spark SQL是Spark用来操作结构化数据的组件，通过Spark SQL，用户可以使用SQL或者Apache Hive的SQL方言（HQL）来查询数据。 Spark Streaming 是Spark
Spark Streaming性能优化: 如何在生产环境下动态应对流数据峰值
微信搜：import_bigdata，大数据领域硬核原创作者
11-16 379
点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！1、为什么引入Backpress...
【spark】搭建生产环境的spark服务
lsr40的博客
01-30 1937
固定开头，菜鸡一只，如有说错，请大家批评指出，一定改正！ 事情是这样，当我们学习spark的时候，搭建一个环境是最简单也是最开始我们要做的， 一般情况下，我们都是使用虚拟机（linux机器）来搭建spark的环境，然后让spark运行在yarn上（其实也有其他几个模式，但是yarn模式是较常见的通用的资源管理平台） 但是本文要说的是如何在生产（环境）服务器上，搭建自己的spark环境   ...
spark 集群的分布式安装与可用性测试教程
努力变得不菜的菜鸡的博客
07-14 410
一 下载spark安装包 安装的第一步就是下载spark安装包，从官网进行下载 spark的官网是：http://spark.apache.org/downloads.html 下载的时候要按照自己hadoop的版本进行衡量，这里下载的是2.4.3版本 可以使用命令直接在服务器上进行下载 wget https://www.apache.org/dyn/closer.lua/spark/spark...
集群运行task数量总结
lhxsir的博客
03-27 504
使用集群运行spark-sql计算 初始化大宽表 近二十年所有数据！ 1600个Tasks（计算10min + 写入26min） 计算两年数据量：130G 计算三年数据量：190G 平均每年数据量：60G+（2000万条） 提交资源申请： 每个executor申请内存为16G --executor-memory 12g \ --conf spark.yarn.executor.memoryOv...
深度学习在spark平台上进入生产环境
02-24 2851
作者：吴书卫 本文整理自TalkingData T11大数据大会中吴书卫博士的演讲。 主持人：我们或多或少听到很多智能的东西，比如AlphaGo、智能驾驶汽车，这里面都蕴含着一个东西，就是这两年非常火热的机器学习的分支深度学习(Deep Learning)。提到Deep Learning的话，大家可能都知道今年Google开源的TensorFlow，像Caffe等等，有越来越多深度学习
Spark Local环境部署全攻略
对于生产环境，还需要考虑高可用性、安全性以及性能优化等方面的问题。 总结来说，这个Spark安装教程涵盖了从下载到配置的基本流程，帮助用户在本地环境中快速启动Spark服务，为后续的数据处理和分析工作提供了基础...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值