大数据—Spark

一、单选

1、Spark 的四大组件下面哪个不是 （ D ）

A、Spark Streaming
B、Mlib
C、Graphx
D、Spark R

• SQL and DataFrames

• Spark Streaming

• MLlib (machine learning)

• GraphX (graph)

• 是spark的四大组件

2、Spark 支持的分布式部署方式中哪个是错误的==（ D ）==

A、standalone
B、spark on mesos
C、spark on YARN
D、Spark on local

Spark支持的主要的三种分布式部署方式分别是standalone、spark on mesos和 spark on YARN。

standalone模式，即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。它是Spark实现的资源调度框架，其主要的节点有Client节点、Master节点和Worker节点。

而yarn是统一的资源管理机制，在上面可以运行多套计算框架，如map reduce、storm等根据driver在集群中的位置不同，分为yarn client和yarn cluster。

而mesos是一个更强大的分布式资源管理框架，它允许多种不同的框架部署在其上，包括yarn。

3、Spark Job 默认的调度模式 （ A ）

A、FIFO
B、FAIR
C、无
D、运行时指定

Spark中的调度模式主要有两种：FIFO和FAIR。 默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。 而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。

4、下列不属于Spark中driver的作用的是==（ D ）==

A、执行main方法
B、把用户程序转化为task
C、协调任务的调度
D、负责运行组成 Spark 应用的任务

Driver具有main函数，并且有SparkContext实例，是程序的入口

• 把用户程序转为任务
• 跟踪Executor的运行状况
• 为Executor节点调度任务
• UI展示应用运行状况

Executor

• 它们负责运行组成 Spark 应用的任务，并将结果返回给驱动器进程；
• 它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在Executor进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

5、下面哪个不是 RDD 的特点==（ C ）==

A、可分区
B、可序列化
C、可修改
D、可持久化

可转换不可修改

6、下面哪个端口不是 spark 自带服务的端口==（ C ）==

A、8080
B、4040
C、8090
D、18080

50070：HDFSwebUI的端口号

8485:journalnode默认的端口号

9000：非高可用访问数rpc端口

8020：高可用访问数据rpc

8088：yarn的webUI的端口号

8080：master的webUI，Tomcat的端口号

7077：spark基于standalone的提交任务的端口号

8081：worker的webUI的端口号

18080：historyServer的webUI的端口号

4040：application的webUI的端口号

2181：zookeeper的rpc端口号

9083：hive的metastore的端口号

60010：Hbase的webUI的端口号

6379：Redis的端口号

8080：sparkwebUI的端口号

9092：kafka broker的端口

7、哪个不是本地模式运行的条件==（ D ）==

A、spark.localExecution.enabled=true
B、显式指定本地运行
C、finalStage 无父 Stage
D、partition默认值

8、sc.parallelize（[(1,2),(1,3),(2,3),(2,4),(3,1)].reduceByKey（lambda x,y : x +y）.count().collect”操作中会产生==（ B ）==个stage

A、1
B、2
C、3
D、4

首先获取list里面的每个元素，不管有没有map都算开始第一个阶段，stage1

接着reducebykey 肯定shuffle 了。 因此就 有一个 stage2 了

而后面的count 计算 是可以并行处理的，也就是 每个key的总数互相之间计算并没有依赖，因此不会产生新的 stage 。

9、关于广播变量，下面哪个是错误的==（ D ）==

A、任何函数调用
B、是只读的
C、存储在各个节点
D、存储在磁盘或 HDFS

每个函数都可以调用，且只读，优先存放在内存中，内存不够溢写到磁盘上。不会存放在HDFS中。

10、关于累加器，下面哪个是错误的 （ D ）

A、支持加法
B、支持数值类型
C、可并行
D、不支持自定义类型

当然支持自定义，我们经常会用到map类型的自定义累加器

11、以下哪个操作可能会产生大量小文件==（ C ）==

A、mapper数较多的map-only任务
B、reduer数较多的任务
C、从海量数据中过滤出符合条件的少量数据

二、多选

1、在当下比较流行的分布式数据处理平台 Spark 中，有一些常用的高阶算子，比如说 flatMap, filter, groupByKey等等；它们中的某些算子会触发shuffle操作，所谓shuffle，粗略的可以理解为要处理的数据集的内部分区需要进行重排，而不是原地计算。下面哪个算子会引起shuffle （ CD ）

A、map
B、count
C、sortByKey
D、join

spark中会导致shuffle操作的有以下几种算子：

1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等
2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等
3、join类的操作：比如join、cogroup等