关于spark code 和 sql的面试题求大佬看看

最新推荐文章于 2025-11-03 19:31:09 发布

原创最新推荐文章于 2025-11-03 19:31:09 发布 · 325 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#mysql #spark

本文回顾了一道关于SparkCode的面试题目，作者在面试后希望社区成员能够提供解答和指导，强调并非作弊行为。

这是前几天在线上做的一道面试题有点忘记sparkcode的相关知识了

有大佬能帮忙看看吗私信也行评论也行虚心求教/(ㄒoㄒ)/~~

（面试时间过去了没有作弊请放心）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

YYYYYYY1998

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【面试题001】最强java八股文

优快云站内信: https://i.youkuaiyun.com/#/msg/chat/qyj19920704

11-20

2万+

一、基础篇网络基础 TCP三次握手 1、OSI与TCP/IP 模型 2、常见网络服务分层 3、TCP与UDP区别及场景 4、TCP滑动窗口，拥塞控制 5、TCP粘包原因和解决方法 6、TCP、UDP报文格式 HTTP协议 1、HTTP协议1.0_1.1_2.0 2、HTTP与HTTPS之间的区别 3、Get和Post请求区别 4、HTTP常见响应状态码 5、重定向和转发区别 6、Cookie和Session区别。浏览器输入URL过程操作系统基础进程和线程的区别 1、进程间..

题解 | #矩阵的最小路径和# 带内存优化的解法

2301_79125431的博客

04-25

1375

经典问题很多书上都有，比起通常解法用了std的deque容器，可以更方便地操作头尾，不用处理麻烦的下。请问微众的测试和开发的工资一样吗，暑期实习拿到了微众的offer，但是是测试的，看开发转正以后工资挺。因为期刊投的太晚，还在审中，本来四月盲审的，我没赶上，所以选择延毕半年。啊啊啊，4.19二面的，当天下午就链接消失了，当时说是下周一或者二给答复，但是这都快周四了，一直是复。今天华为笔试，被狠狠击碎了，算了一下应该就100分左右，唉，还是太菜了。导师说国外有认识的相关企业，如果有实习，会为我们争取。

参与评论您还未登录，请先登录后发表或查看评论

Spark SQL 面试题

Davina_yu的博客

01-16

1215

数据倾斜：指数据在不同分区或节点上的分布不均匀，导致某些任务处理大量数据而其他任务处理较少数据。优化方法使用或coalesce方法重新分区。使用对小表进行广播。调整参数。

大数据面试之Spark SQL常见题目

luoyepiaoxue2014的博客

12-16

879

大数据面试之Spark SQL常见题目

一些sparksql的面试题

最新发布

Yuyang_Leo的博客

11-03

370

对于外部表，数据可以存在 HDFS、S3 等任何指定位置，Hive 只管理元数据。一是元数据，它存在像 MySQL 这样的独立数据库里，记录的是表结构、分区信息这些。方法，最常用，用来读文本文件，比如从 HDFS 或本地系统读，按行处理。，主要用在测试里，把程序里的一个集合（比如 List）变成 RDD 来用。所以，Hive 本身不产生数据，它主要管理和描述存储在别处的数据。，适合读取一堆小文件，它会返回（文件名，文件内容）这种格式。二是原始数据本身，对于内部表，数据默认存在 HDFS 的。

Spark 面试题（十六）

闲依农圃邻，偶似山林客。

06-18

1008

1. 简述Spark运行时并行度的设置？ 2. 简述Spark SQL的数据倾斜解决方案？ 3. 简述Spark的RDD和partition的联系？ 4. 简述Spark 3.0特性？ 5. 简述Spark计算的灵活性体现在哪里？ 6. 简述什么是 RDD 沿袭？ 7. 简述解释 Spark 中的 Accumulator 共享变量？

面试题-SparkSQL

qiyong7578的博客

10-07

1168

SparkSQL01 1、sparksql和sparkcore cache策略的区别绿在：InMemoryTableScan sparksql cache 是eagle的，sparkcore是lazy的 sparksql uncache是eagle的，sparkcore是eagle的语法 cache table tablename uncache table tablename spark.table("tablename").cache 是lazy的 val df = spark.sql("sele

SparkSQL面试题

weixin_64860388的博客

11-04

593

【代码】SparkSQL面试题。

Flink面试题与详解

Stray_Lambs的博客

12-23

2448

官网图：由两个部分组成，JM，TM。JM中包含三个组件，。dispatch主要是负责提供了rest接口，接受客户端提供的jar包dataflow等信息，并且运行Flink UI也是该组件运行。jobmaster主要是负责将dataflow等数据流图转换成真正的物理执行图，如果资源足够启动任务，那么就会将图分发给对应的TM，并且负责任务启动后的协调运行管理，比如checkpoint的协调。resource manager主要负责资源的申请、释放、分配。管理着Flink的slot。

机器学习算法面经（阿里京东拼多多百度等）

bella_IT的博客

08-09

3039

面试职位：机器学习/数据挖掘算法工程师在网上得到很多宝贵的面试经验现我也来开帖，分享一下到目前为止的面试经验~~~ 本人会一直写到秋招结束，记录下参加的每场面试如果回答上有什么错误，请不吝赐教哈！！！谢谢~~~~ 目前内推面了：阿里（一面跪）、京东（offer）、拼多多（offer）、美丽联合（一面跪）、链家（offer）、美团点评（三面跪）目前校招面了：360（一面跪）、百度（一面跪）...

程序员必备的一些网站(收藏)

笨笨的博客

10-08

1万+

今天我给大家分享一下我平时自学前端的一些网站，这是网站也都是平日里我慢慢积累出来的，可能有的网站大家也都耳熟能详。不知道的小伙伴们可以根据自己的情况收藏一下，知道的大佬们就相当于重温一下吧！我是一个正在学习前端的小白。如果你是大佬，欢迎指正，如果你也正在学习前端，欢迎互相监督学习，共同进步！ 01，程序员导航程序员必备网站，里面给你归纳了众多的学习工具，社区论坛，学习网站等，可谓内容丰富。同时还有摸鱼专区。在这里你甚至可以脱单。是不是很nice呢？里面有很多的东西等着我们去发现，我主要是逛逛.

Spark SQL面试题

敲代码的彭于晏

05-09

1801

1.RDD DataFrame DataSet的区别（1）三者之间的关系 DataFrame是特殊的RDD(它相当于RDD+schema，即RDD+表信息)，可以将他看成数据库中的一张数据表，但是只知道这个"表"中的各个字段，不知道各个字段的数据类型。 Dataset是DataFrame的父类，当Dataset中存储Row(Row是一个类型，跟Car、Person这些的类型一样，所有的表结构信息我都用Row来表示)时，两者等价(Dataset[Row]=DataFrame)。（2）各自优缺点

Spark SQL面试题——窗口函数

高興

12-12

4170

问题 A表里面有三笔记录字段是 ID start_date end_date 数据是： 1 2018-02-03 2019-02-03; 2 2019-02-04 2020-03-04; 3 2018-08-04 2019-03-04；根据已知的三条记录用sql写出结果为： A 2018-02-03 2018-08-04; B 2018-08-04 2019-02-03; C 2019-0...

经典的SparkSQL/Hive-SQL/MySQL面试-练习题（一）

智海观潮的博客

09-30

801

第一题需求：已知一个表order，有如下字段:date_time，order_id，user_id，amount。数据样例:2020-10-10,1003003981,00000001,1000，请用sql进行统计: (1)2019年每个月的订单数、用户数、总成交金额。 (2)2020年10月的新客数(指在2020年10月才有第一笔订单) 实现： (1) SELECT t1.year_month, count(t1.order_id) AS order_cnt, count(DISTINCT t1.

大数据开发之SparkSQL面试篇

m0_58371965的博客

01-11

1609

1.谈谈你对Spark SQL的理解 Spark SQL是一个用来处理结构化数据的Spark组件，前身是shark，但是shark过多的依赖于hive如采用hive的语法解析器、查询优化器等，制约了Spark各个组件之间的相互集成，因此Spark SQL应运而生大数据培训。 Spark SQL在汲取了shark诸多优势如内存列存储、兼容hive等基础上，做了重新的构造，因此也摆脱了对hive的依赖，但同时兼容hive。除了采取内存列存储优化性能，还引入了字节码生成技术、CBO和RBO对查询等进行动态评估

Spark面试题

索JM以后是大牛的博客

02-04

813

Spark Spark具备哪些优势 1）高效性：内存计算下，Spark比MapReduce快100倍。Spark使用最先进的DAG(有向无环图）调度程序，查询优化程序和物理执行引擎，实现批量和流式数据的高性能 2）易用性：Spark支持Java,Python和Scala的API，还支持超过八十种算法，使用户可以快速构建多样的应用 3）通用性：Spark提供了统一的解决方案。Spark可以用...

Spark面试题及其答案

关于spark code 和 sql的面试题 求大佬看看

关于spark code 和 sql的面试题求大佬看看