本文深入探讨了Spark的核心概念，包括RDD的特性和依赖类型，详细解释了Spark的角色分工，如Driver和Executor的功能，以及运行模式的选择，从local到大规模生产环境的YARN。同时对比了MapReduce与Spark的不同之处，强调了Spark在复杂数据处理场景中的优势。
Spark*****
1.RDD?
数据集拆分；数据存储在内存或者磁盘；多分区；失效自动重构；转换操作构造
2.RDD俩种依赖？
窄依赖（父RDD中的分区最多只能被一个子RDD的一个分区使用）和宽依赖（子RDD依赖于所有父RDD）
3.spark 角色？
1.driver；main函数在里面
2.sparContext：加载配置信息，初始化运行环境，创建DAGScheduler和TaskScheduler
3.Executor：可以有多个 多线程
4.task:
4.spark的几种运行模式？
1.local:单机运行，spark以多线程形式运行在本地；
2.standlone：集群运行（规模不大）
3.yarn-client/yarn-cluster(生产环境)；
5.spark运行过程：
生成逻辑查询计划-物理查询计划-任务调度-执行任务
6.mapreduce比起saprk优缺点：
答：1.通用性强
2.mapreduce对现实的描述过于简单只有map,reduce俩个，spark细分rdd,分多个partition
扫一扫
1432
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
