大数据面试题汇总

最新推荐文章于 2024-06-18 16:10:07 发布
最新推荐文章于 2024-06-18 16:10:07 发布
阅读量399 收藏 1
点赞数
文章标签： 大数据 面试 hbase kafka spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wodwl/article/details/110904972
版权
本文汇总了大数据面试中常见的问题，包括Spark的优缺点与RDD特性、Kafka的快速原因、HBase系统架构及设计原则，带你全面理解HBase与RDBMS的比较。深入探讨HBaserowkey设计和预分区，以及Hive的sort、distribute等操作区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

勇哥聊IT
关注
互联网大厂大数据面试题汇总及参考答案（5万字长文）
大模型大数据攻城狮的专栏
04-11 507
NameNode 是 HDFS 的主节点，负责管理文件系统的命名空间和客户端对文件的访问。它存储了整个文件系统的元数据，包括文件和目录的信息，以及文件的数据块和它们在 DataNode 上的位置。: Spark 拥有一个更丰富的生态系统，包括 Spark SQL、Spark Streaming 和 MLlib 等组件，这些组件使得 Spark 在数据处理、流处理和机器学习等领域都有出色的表现。: 它运行在集群中的每个节点上，负责管理节点的资源使用情况，并向 ResourceManager 报告。
大数据面试汇总
悦分享
10-08 578
1）Linux常用高级命令序号命令命令解释1top查看内存2df -h查看磁盘存储情况3iotop查看磁盘IO读写(yum install iotop安装）4iotop -o直接查看比较高的磁盘读写程序5netstat -tunlp | grep 端口号查看端口占用情况6uptime查看报告系统运行时长及平均负载7ps -aux查看进程2）Shell常用工具及写过的脚本1）awk、sed、cut、sort2）用Shell写过哪些脚本（1）集群启动，分发脚本（2）数仓与MySQL的导入导出（3）数仓层级内部的
大数据面试题必读
牛逸凡的博客
07-17 2170
kafka的message包括哪些信息   一个Kafka的Message由一个固定长度的header和一个变长的消息体body组成   header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等...
面试题总结（大数据）
weixin_40530363的博客
03-27 368
1、阐述Hadoop与Spark的区别？ 2、Spark的工作原理是什么？ 3、Spark是多线程模式，怎么退化为多进程模式？ 4、Hive的特点都有什么 5、Zookeeper的同步过程 6、Hbase存储原理和过程 7、HDFS的写入过程 8、讲解一下scala闭包 9、spark中的shuffle有哪些？ 10、HBase的优势，为什么使用了HBase、设计rowkey？ 11、spark中...
大数据面试
yangzhihong650的博客
10-22 669
讲述大数据的生态组件（2.0） 1.hdfs（hadoop分布式文件系统）       hdfs是hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件 上运行，hdfs讲话了文件的一致性模型，通过对流式数据让问，提供高吞吐量应用程序访问功能，适合带有大型数据集的应用程序，  2.yarn（集群资源管理系统） yarn是hadoop2....
大数据面试题记录
豆子的collection
08-25 9299
1 海量日志数据，提取出某日访问百度次数最多的那个IP
【面试题】大数据方向_大数据方向问题
2401_84165919的博客
04-28 965
窗口函数（Window functions）是一种SQL函数，非常适合于数据分析，因此也叫做OLAP函数，其最大特点是：输入值是从SELECT语句的结果集中的一行或多行的“窗口”中获取的。你也可以理解为窗口有大有小（行有多有少）。通过OVER子句，窗口函数与其他SQL函数有所区别。如果函数具有OVER子句，则它是窗口函数。如果它缺少OVER子句，则它是一个普通的聚合函数。窗口函数可以简单地解释为类似于聚合函数的计算函数，但是通过GROUP BY子句组合的常规聚合会隐藏正在聚合的各个行，最终输出一行，
2024大数据面试题汇总(完善中。。。)
最新发布
为人性僻 语不惊人
06-18 2167
自己汇总的面试题，涉及到大数据的常用组件，将持续更新... ... 部分图片不全，后期继续完善 更新记录: 2024-6-18 初版0.1.0 :hadoop，hbase，doris，hive，mysql，es 2024-6-26 1.0.0 : java，spark，redis，kafka，flink，kafka，数据仓库
2020大数据面试题总汇
11-16
根据给定文件的信息，我们可以提炼出一系列与Java基础相关的知识点，包括数据结构、设计模式、多线程、反射机制、面向对象特性等。下面将详细展开这些知识点。 ### HashMap实现原理 - **基本概念**：`HashMap`是...
02-2022年上海大数据面试题汇总.pdf
04-14
### 大数据面试知识点解析 #### 1. **字节跳动面试题解析** - **算法题：** 排列组合问题是计算机科学中的一个基本问题，它涉及到如何生成一个数组的所有可能排列。这通常可以通过递归或迭代的方式实现。例如，...
03-2022年深圳大数据面试题汇总.pdf
04-14
### 一、字节跳动面试题中的核心知识点概述 #### 1. 数据结构与算法 - **算法题：**如驼峰命名转换、二叉树打印、寻找链表交点等问题。 - **数据结构：**包括List和Map实现LRU缓存策略、完全二叉树节点间关系识别等...
大数据面试题
09-13
大数据面试题,涉及到MapReduce,hdfs,hive,flume,spark,kafka
大数据面试指南（含答案）
05-14
包括Hadoop、Hive、Hbase、Java、Spring、Redis、Kafka等内容
【大数据面试题】
Simple 专栏
09-27 491
  ali 1.简述如何安装配置apache 的一个开源的 hadoop 2.列出hadoop 集群中的都分别需要启动哪些进程 它们分别是作用是什么？ 3.简述mapreduce的运行原理 4.hive中内部外部表的区别 5.mapreduce中的combiner 和partition的区别 6.说说你对yarn 的理解 7.Redis性能优化，单机增加CPU核数是否会提高性能 ...
2018 大数据面试
Simple 专栏
10-02 4131
大数据工程师(开发)面试 1.HBase和Hive都是基于Hadoop，为什么Hive查询起来非常慢，但HBase不是？ Hive是类SQL引擎，其查询都需要遍历整张表，跑MapReduce自然很慢，但HBase是一种NoSQL的列式数据库，基于Key/Value的存储格式，不需要像Hive一样遍历，自然在速度上，乃至写的性能上是相当之快的。 相关参考文献 HIVE和HBASE区别 2.通过Jav...
大数据面试经验分享
luo981695830的博客
04-16 1701
面试经验分享
大数据面试之路
acethan的博客
04-21 147
时间：2021-04-21 公司：中交xx 印象比较深的问题：spark 二次排序，思路跟面试官不一样，给面试官的印象spark core 代码能力不足，写了好几年c/c++，居然给人留下的印象是代码能力不足，我 ozo。其实简历里也只写了flink 项目经验，后面再自己练习练习吧。唯一庆幸的是面试官觉得俺其他方面都还不错。 公司：huizewang 印象比较深的问题：从mysql索引，java hashmap，hive， hbase，kafka 到flink都，中间居然忘记了mysql的聚集索引。被问到h
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值