Spark理论

最新推荐文章于 2025-05-24 10:45:13 发布

原创

最新推荐文章于 2025-05-24 10:45:13 发布 · 319 阅读

0 ·

CC 4.0 BY-SA版权

本文探讨了Spark的Executor内存管理，指出Executor内存是executor-memory的总和，Yarn申请的内存为（executor-memory+1）* num-executors。详细阐述了Spark与MapReduce在资源占用上的区别，并解释了Spark的迭代模型、Stage划分以及Yarn Cluster和Yarn Client模式的区别。此外，提到了配置Hive连接MySQL的步骤以及使用Git客户端将文件上传到Linux的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

exector都是装载在container里运行，executor分配的内存是executor-memory,像Yarn申请的内存是（executor-memory+1）*num-executors.
AM在Spark中叫driver，AM像RM申请的是executor资源，当分配完后，executor启动，由spark的AM向executor分配task，分配task、分配到哪个executor由AM决定

8 map 1G，2个reduce 1G
MR：如果执行map执行完，去看yarn这个任务运行的资源情况
8 map处理完，这个任务会占用多少资源？2G。因为map完，他是进程，释放掉了

spark：1个executor 10G
8 map 1G ，2个reduce 1G
8个map执行完，资源占用情况？
10G，因为一直占用这个进程，map虽然完，但是reduce还没处理完，所以还是占用10G

spark用迭代模型：
df经过很多的数据处理之后，处理成模型输入的数据：df_n
df_n.cache加载到内存
再去输入到模型中，因为模型迭代一次，需要扫一遍数据集df_n

只要一对多就是shuffle过程

stage划分：是在任务和数据都没有执行的时候就生成了。

Yarn Cluster 和Yarn Client区别：
本质是AM进程的区别，cluster模式下，driver运行在AM中，负责向Yarn申请资源，并监督作业运行情况，当用户提交作业后，就关闭掉Client，作业会继续在yarn上运行。然而cluster模式不适合交互类型的作业。而client模式，AM仅向yarn请求executer,client会和请求的container通信来调度任务，即client不能离开。

yarn- cluster 模式提交要修改：
spark cluster 修改配置：
1.hive-site.xml

javax.jdo.option.ConnectionURL
jdbc:mysql://master:3306/hive?createD