大数据面试题以及答案整理（二）

最新推荐文章于 2025-06-24 00:57:05 发布

原创

最新推荐文章于 2025-06-24 00:57:05 发布 · 6.1k 阅读

62 ·

CC 4.0 BY-SA版权

文章标签：

#大数据 #面试题 #hadoop #spark

本文探讨了Redis性能优化问题，指出单机增加CPU核数可能的效果。详细阐述了为何选用Kafka进行数据采集，并分享了项目实施中如何应对数据丢失的挑战及解决方案。此外，解析了RDD的stage划分、reduceByKey与groupByKey的操作差异，以及Kafka和Spark Streaming在重启时的数据安全性问题，最后讲解了checkpoint的重要性和应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Redis性能优化，单机增加CPU核数是否会提高性能

1、根据业务需要选择合适的数据类型，并为不同的应用场景设置相应的紧凑存储参数。
2、当业务场景不需要数据持久化时，关闭所有的持久化方式可以获得最佳的性能以及最大的内存使用量。
3、如果需要使用持久化，根据是否可以容忍重启丢失部分数据在快照方式与语句追加方式之间选择其一，不要使用虚拟内存以及diskstore方式。
4、不要让你的Redis所在机器物理内存使用超过实际内存总量的3/5。
我们知道Redis是用"单线程-多路复用io模型"来实现高性能的内存数据服务的，这种机制避免了使用锁，但是同时这种机制在进行sunion之类的比较耗时的命令时会使redis的并发下降。因为是单一线程，所以同一时刻只有一个操作在进行，所以，耗时的命令会导致并发的下降，不只是读并发，写并发也会下降。而单一线程也只能用到一个cpu核心，所以可以在同一个多核的服务器中，可以启动多个实例，组成master-master或者master-slave的形式，耗时的读命令可以完全在slave进行。

采集数据为什么选择kafka

采集层主要可以使用Flume, Kafka两种技术。
Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API.
Kafka：Kafka是一个可持久化的分布式的消息队列。
Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对HDFS有特殊的优化，并且集成了Hadoop的安全特性。所以，Cloudera 建议如果数据被多个系统消费的话，使用kafka；如果数据被设计给Hadoop使用，使用Flume。