数据开发探索者

“最近公司来了几个新同事，好奇问了下面试问题，记录下。” 01 1）技术部分 （1）Kafka原理，数据怎么平分到消费者 （2）FlumeHDFS Sink小文件处理 （3）Flink与SparkStreaming的差异，具体效果 （4）Spark背压机制具体原理实现 （5）Spark执行内存如何分配，执行任务时给多大内存 （6）SparkSQL做了哪些功能 （7）讲一下Flink （8）状态编程有哪些应用 （9）端到端exactly-once如何保证 （10）Fli...

01 批处理与流处理 批处理 所谓的批处理，从字面意思理解，就是把一整块数据切分成一小块一小块，每一个小块称为一批。把一个小块数据分配给一个计算节点进行运算，这种情况称为批处理。 所以说，批处理针对的数据是一个有限集合，也就是有界数据，这些数据在处理之前就已经存储在我们的源数据地址，当我们要进行处理的时候直接从这个数据集进行读取就可以了。 流处理 与批处理相对的，流处理的数据是无界的，数据就像一条河里的水源源不断地从上游流到计算框架中，我们不知道数据的总量是多少，也...

“ Hadoop 中的计算框架 MapReduce 的基本思想。我们已经知道，MapReduce 的主要功能就是并行计算，但是它也不是十全十美的，MapReduce 高成本的硬伤使得它已经不能很好地解决新时代的问题。” 01 什么是 Spark 打开 Spark 的官网，我们看到的第一句话就是对 Spark 的定义：Spark 是用于大规模数据处理的通用分析引擎。当然，原文是英文的，这句是我翻译过来的。这句话非常简洁明了地讲解了 Spark 的功能，一个是针对大规模数据，一个是通用分析引擎。 让我们简单回顾

在实时计算中，使用flink，诸如上游、下游、streams 这样的概念都暗示着我们，“流”和“异步”之间有着某种关联。 01异步编程框架 说到“异步编程”或者“高并发编程”，你首先想到的是什么呢？ 根据我以往的经验： 青铜级的求职者，一般会说多线程、synchronized、锁等知识，更有甚者还会扯到 Redis 神马的。很显然，这类求职者对异步和高并发编程，其实是没有什么概念的； 白银级的求职者，则会说线程池、executor、ConcurrentHashMap...

“ 免费送大家一分flink面试指南pdf，pdf见文章底部” 链接：https://pan.baidu.com/s/1O9obRmwWGt75sFTLZc308A 提取码：7piu 复制这段内容后打开百度网盘手机App，操作更方便哦–来自百度网盘超级会员V5的分享 希望大家可以关注下公众号，会定期分享自己从业经历、技术积累及踩坑经验，支持一下，鞠躬感谢~ 关注公众号回复：“资料全集” ...

是打发斯蒂芬

Flink中的状态管理 1、Flink中的状态 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3E3FtJlw-1601270265116)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20200902181631638.png)] 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 Flink 会进行状