Spark RDD经典基础面试题

最新推荐文章于 2024-09-03 09:30:00 发布
原创 最新推荐文章于 2024-09-03 09:30:00 发布 · 700 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #面试 #大数据

本文主要探讨Spark RDD在面试中常见的基础问题，包括SparkContext、DAG、RDD、Transformation和Action的创建及执行位置。关键点在于理解大部分操作在Driver端定义，而Executor端执行具体任务。此外，还涉及分区器、广播变量和累加器的使用与特性。

Spark RDD经典基础面试题

面试基础题

  1. SparkContext哪一端创建的的？
    Driver端
  2. DAG是在哪一端被构建的？
    Driver端
  3. RDD是在哪一端生成的？
    Driver端
  4. 调用RDD的算子（Transformation和Action）是在哪一端调用的
    Driver端
  5. RDD在调用Transformation和Action时需要传入函数，函数是在哪一端声明【定义】和传入的?
    Driver端
  6. RDD在调用Transformation和Action时需要传入函数，请问传入的函数是在哪一端执行了函数的业务逻辑？
    Executor
  7. Task是在哪一端生成的呢？
    Driver端
  8. DAG是在哪一端构建好的并被切分成一到多个Stage的
    Driver端
  9. DAG是哪个类完成的切分Stage的功能？
    DAGScheduler
  10. DAGScheduler将切分好的Task以什么样的形式给TaskScheduler
    TaskSet
  11. 自定义的分区器这个类是在哪一端实例化的？
    Driver端
  12. 分区器中的getParitition方法在哪一端调用的呢？
    Executor
  13. 广播变量是在哪一端调用的方法进行广播的？
    Driver端
  14. 要广播的数据应该在哪一端先创建好再广播呢？
    Driver端
  15. 广播变量以后能修改吗？
    不能
  16. 广播变量广播到Executor后，一个Executor进程中有几份广播变量的数据
    一个
  17. 累加器事先在哪一端创建的
    Driver端
  18. 累加器事先在哪一端累加的
    Executor
  19. shuffle算子是否一定会触发shuffle
    不会,需
最低0.47元/天 解锁文章
SparkCore>RDD基础练习[快速演示]
qq_44509920的博客
04-11 799
文章目录集群模式启动分区原则RDD (API)mapfilterflatmapsortBy交集、并集、差集、笛卡尔积joingroupbykeycogroup[了解]groupByreducereducebykeyrepartitioncollectcountdistincttoptakefirstkeys、valuesmapValuescollectAsMap面试题：foreach和foreac...
Spark基础RDD练习（一）
x531280572的博客
02-19 930
spark_rdd练习 1.并行化创建RDD 通过并行化生成rdd scala> var rdd1 = sc.parallelize(List(123,32,44,55,66,77,88,999)) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :24 查看该RDD的分...
RDD概述
azhrrvsfz270786493的博客
11-30 384
1.1 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 1.2 RDD的属性 1) 一组分区（Partition），即数据集的基本组成单位; 2) 一个计算每个分区的函数; 3) RDD之间的依赖关系; 4) ...
Spark面试常见问题(一)--RDD基础
Arkham的专栏
05-14 1793
1 RDD基础知识 1.1 Spark的RDD五大特性 1.1.1 A list of partitions   RDD是一个由多个partition（某个节点里的某一片连续的数据）组成的的List；将数据加载为RDD时，一般一个hdfs里的block会加载为一个partition。    对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片...
Spark-核心常见面试题集锦(RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制)
m0_46507516的博客
06-18 1663
RDD、shuffle类型、数据倾斜优化、小文件问题、性能调优、streaming流程、checkpoint机制
精选资源
Spark经典常见的面试题集合
01-03
以下是一些关于Spark的经典面试问题及其详细解答： 1. **var、val、def关键字的区别** - `var` 是可变变量，它的值可以在程序运行时改变，但类型一旦声明便不可更改。 - `val` 是不可变常量，一旦赋值后不能更改...
Spark面试高频真题一--Spark基础
最新发布
m0_73359763的博客
09-03 2198
Spark是业界常用的大规模分布式数据处理引擎，也是数仓开发最常用的工具组件，通常一二三轮面试官都会或多或少的提问相关的基础问题。本文总结常见面试问题和答案参考，肯定对你有所帮助。
尚硅谷大数据Spark之RDD转换算子学习笔记及面试题
qq_25127933的博客
09-28 938
1. Spark 算子从功能上可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 RDD转换算子根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Value类型 2）Action 行动算子：这类算子会触发 SparkContext 提交
精选资源
spark面试题整理.pdf
05-15
### Apache Spark面试题知识点解析 #### 一、基础知识（1-20） 1. **Apache Spark简介及其与Hadoop的区别** - **Apache Spark**是一个快速、通用且可扩展的大数据分析平台，支持大规模数据处理需求。它采用了内存...
大数据开发（Spark面试真题）
key_honghao的博客
03-21 5164
Spark Streaming是Spark提供用于实时流式数据处理和分析的库。它基于离散时间间隔将原始流式数据划分为小的批处理，然后将这些批次数据提供给Spark引擎进行处理。Spark内存管理机制通过动态划分内存空间为执行引擎和缓存两个部分来优化计算和访问速度。Executor Memory（执行内存）：执行内存用于保存RDD转换操作生成的执行结果及相关遍历。它直接影响了并行处理任务时可利用的资源量。Storage Memory（缓存内存）：缓存部分被称为Storage Memory，并且用于。
Spark面试2000题(1~6期 外加60题)
06-06
Spark面试2000题(1~6期 外加60题) Spark面试2000题(1~6期 外加60题)
spark面试题整理
qq_44717177的博客
08-13 760
rdd是分布式弹性数据集，所有的算子都是基于rdd来执行的，rdd执行过程中会形成dag图，然后形成后lineage,如果某个节点上的rdd分区因为节点故障，导致数据丢失，那么rdd可以根据自己的数据来源重新计算该分区，保证容错性，rdd存储是block和node之间的映射，逻辑上是一个hdfs文件，他是被分区的，每个分区分布在集群中不同节点上，从而让rdd的数据可以并行计算.rdd的数据默认存放在内存中，但是内存资源不足时，spark会自动将rdd数据写入磁盘。场景：表关联查询或者处理重复的key....
spark精华面试题
allure2的博客
01-19 249
spark精华面试题 1、driver的功能是什么？ 1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。 ...
spark面试：RDD总结
无知是恶
09-28 790
这几天面试被问到了好几次RDD，感觉都没令面试官满意，下面做了一些简单总结，欢迎大家指出问题： 可以从几个方面来回答，概念、源码层、容错性、缓存、分区等 概念 RDD，全称是弹性分布式数据集（Resilient Distributed Dataset），是spark底层的抽象概念， 弹性主要体现在 :其数据默认是放在内存中，只有放不下了才会放到磁盘，并且每个task执行失败可以进行重新计算； 分布...
Spark RDD 练习题（python）
czl389的专栏
08-16 2871
from pyspark import SparkContext sc = SparkContext('local', 'pyspark')牛顿法求平方根我们知道牛顿法求 n√\sqrt{n} (达到eps准确度)的算法是这样的：** * 给定一个初始值 x=1.0x = 1.0. * 求xx和n/xn / x的平均(x+n/x)/2(x + n/x)/2 * 根据(x+n/x)/2(x +
RDD简单练习I（Transformation）
念念的博客,记录学习的点点滴滴！
10-01 308
数组转成RDD（并行化scala集合创建RDD）(Transformation转换，延迟加载) scala> val r1 = sc.parallelize(Array(1,2,3,4,5,6)) r1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[31] at parallelize at <console>:24...
Spark 和hadoop的一些面试题（准备）
热门推荐
qiezikuaichuan的专栏
06-03 2万+
Spark
Spark面试总结（1）
McGrady_Durant的博客
08-11 654
1.spark中的RDD RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合 RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有
Spark面试题(持续更新)
陈小哥cw
09-18 986
一、RDD中reduceBykey与groupByKey哪个性能好，为什么？ reduceByKey：reduceByKey会在结果发送至reducer之前会对每个mapper在本地进行merge，有点类似于在MapReduce中的combiner。这样做的好处在于，在map端进行一次reduce之后，数据量会大幅度减小，从而减小传输，保证reduce端能够更快的进行结果计算。 groupByKe...
Spark面试精粹：RDD详解与试题解析
"Spark面试2000题系列第5期参考答案，涵盖Spark RDD相关的面试问题，旨在帮助面试者加深对Spark RDD及其编程的理解。" Spark RDD是Spark的核心编程模型，代表了一种不可变、分区的数据集。理解RDD的概念和操作是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值